thor雷神項(xiàng)目VMware FT解析主備份復(fù)制如何實(shí)現(xiàn)容錯(cuò)【免費(fèi)下載鏈接】thor項(xiàng)目地址: https://gitcode.com/gh_mirrors/thor3/thorVMware FTFault Tolerance容錯(cuò)是分布式系統(tǒng)課程 MIT 6.824 中最經(jīng)典的論文之一它用主備份復(fù)制Primary-Backup Replication在虛擬機(jī)層面實(shí)現(xiàn)了透明容錯(cuò)即使主服務(wù)器整機(jī)崩潰服務(wù)也能無縫切換到備份機(jī)器客戶端幾乎無感知。thor 雷神項(xiàng)目完整翻譯了這門課程的字幕與講稿本文就基于 Lec4-3.zh.txt、Lec4-4.zh.txt 等翻譯資料用最通俗的語言拆解 VMware FT 的主備份復(fù)制到底是如何實(shí)現(xiàn)容錯(cuò)的。為什么需要主備份復(fù)制從單機(jī)故障說起在分布式系統(tǒng)里硬件故障是常態(tài)電源被拔、內(nèi)存損壞、網(wǎng)線松動(dòng)……一臺(tái)服務(wù)器隨時(shí)可能說走就走。想要繼續(xù)穩(wěn)定提供服務(wù)最樸素的思路就是復(fù)制Replication——準(zhǔn)備一臺(tái)一模一樣的備用機(jī)器一旦主機(jī)器掛掉備用機(jī)器立刻頂上。課程開篇 primary_backup_replication.en.srt 首先區(qū)分了停止-失敗Fail-Stop模型機(jī)器出問題時(shí)只是停止執(zhí)行而不會(huì)給出錯(cuò)誤結(jié)果。VMware FT 要對(duì)抗的正是這種故障而它的武器就是主備份復(fù)制。有意思的是大多數(shù)系統(tǒng)比如 GFS都在應(yīng)用層面做復(fù)制只同步應(yīng)用程序關(guān)心的數(shù)據(jù)塊。而 VMware FT 走了一條完全不同的路——它在機(jī)器級(jí)別復(fù)制連內(nèi)存、寄存器、CPU 狀態(tài)都保持一致因此它根本不關(guān)心你跑的是什么軟件任何操作系統(tǒng)、任何應(yīng)用都能直接獲得容錯(cuò)能力。VMware FT 的核心思想讓兩臺(tái)虛擬機(jī)長得一模一樣VMware FT 的架構(gòu)可以畫成下面這張圖客戶端 ──請(qǐng)求──? ┌─────────────────────┐ │ 物理機(jī) A主 │ │ ┌─────────────────┐ │──日志通道──? ┌─────────────────────┐ │ │ 主虛擬機(jī) │ │ │ 物理機(jī) B備份 │ │ │ 內(nèi)存寄存器CPU │ │ │ ┌─────────────────┐ │ │ └─────────────────┘ │ │ │ 備份虛擬機(jī) │ │ │ VMM 虛擬機(jī)監(jiān)視器 │ │ │ 內(nèi)存寄存器CPU │ │ └─────────────────────┘ │ └─────────────────┘ │ │ VMM 虛擬機(jī)監(jiān)視器 │ └─────────────────────┘兩個(gè)物理機(jī)上各跑一臺(tái)內(nèi)容完全相同的虛擬機(jī)分別稱為主虛擬機(jī)Primary和備份虛擬機(jī)Backup。中間通過一條高速網(wǎng)絡(luò)日志通道連接。關(guān)鍵點(diǎn)在于兩臺(tái)虛擬機(jī)執(zhí)行完全相同的指令序列內(nèi)存狀態(tài)始終一致。如果主節(jié)點(diǎn)崩潰備份節(jié)點(diǎn)就頂替它繼續(xù)運(yùn)行——這就是主備份復(fù)制實(shí)現(xiàn)容錯(cuò)的基本盤。輸入日志通道主備份復(fù)制同步的關(guān)鍵機(jī)制那么問題來了兩臺(tái)機(jī)器如何保持同步答案是日志通道Logging Channel。課程講稿 Lec4-3.zh.txt 詳細(xì)描述了整個(gè)流程客戶端發(fā)送數(shù)據(jù)包給主虛擬機(jī)數(shù)據(jù)包到達(dá)產(chǎn)生中斷虛擬機(jī)監(jiān)視器VMM攔截到這個(gè)輸入VMM 做兩件事把中斷模擬給主虛擬機(jī)處理同時(shí)把數(shù)據(jù)包通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)給備份虛擬機(jī)備份虛擬機(jī)收到后也在完全相同的指令位置注入中斷兩臺(tái)虛擬機(jī)基于相同輸入、執(zhí)行相同指令狀態(tài)自然保持一致。這臺(tái)服務(wù)唯一的輸入輸出方式就是網(wǎng)絡(luò)數(shù)據(jù)包所以輸入事件 數(shù)據(jù)包內(nèi)容 中斷時(shí)序。只要把這些輸入按順序喂給兩臺(tái)虛擬機(jī)它們就能像雙胞胎一樣同步演化。主備份復(fù)制如何應(yīng)對(duì)非確定性難題如果一切都確定主備份復(fù)制就太簡單了。但現(xiàn)實(shí)中存在大量**非確定性Non-determinism**操作會(huì)讓兩臺(tái)機(jī)器分叉隨機(jī)數(shù)生成指令主節(jié)點(diǎn)算出的隨機(jī)數(shù)備份節(jié)點(diǎn)必須得到同一個(gè)值讀取時(shí)鐘/當(dāng)前時(shí)間的指令不同時(shí)刻執(zhí)行結(jié)果不同網(wǎng)絡(luò)中斷的到達(dá)時(shí)序中斷插在哪條指令之間執(zhí)行直接影響結(jié)果多核并發(fā)兩個(gè)核搶鎖的順序不可預(yù)測這是論文直接禁止的場景論文假設(shè)單核。解決方案是備份節(jié)點(diǎn)遇到這類指令時(shí)不真正執(zhí)行而是截獲它、等待日志通道上傳來的標(biāo)準(zhǔn)答案直接用主節(jié)點(diǎn)產(chǎn)生的結(jié)果。這樣即使是非確定性操作兩臺(tái)機(jī)器也能保持一致。細(xì)節(jié)可對(duì)照 Lec4-4.zh.txt 中關(guān)于中斷時(shí)序與指令執(zhí)行次序的討論。故障切換備份節(jié)點(diǎn)如何接管服務(wù)當(dāng)主節(jié)點(diǎn)掛掉VMware FT 的故障切換Failover流程非常清晰備份節(jié)點(diǎn)的 VMM 發(fā)現(xiàn)超過一秒沒收到日志通道數(shù)據(jù)判定主節(jié)點(diǎn)已死備份節(jié)點(diǎn)停止等待輸入事件開始自由執(zhí)行VMM 修改網(wǎng)絡(luò)配置把原主節(jié)點(diǎn)的網(wǎng)卡身份如 48 位 Ethernet ID收歸自己對(duì)外聲明我才是這個(gè) IP 的主人之后的客戶端請(qǐng)求全部路由到備份節(jié)點(diǎn)服務(wù)無縫繼續(xù)。反過來如果備份節(jié)點(diǎn)先掛主節(jié)點(diǎn)只需停止發(fā)送日志、退化為單機(jī)運(yùn)行即可。這套切換機(jī)制在 primary_backup_replication.en.srt 的后半段有完整講解。主備份復(fù)制的局限了解容錯(cuò)方案的代價(jià)VMware FT 用簡單粗暴換來了通用性但也必須接受代價(jià)局限說明性能開銷大每條輸入都要經(jīng)日志通道復(fù)制主備份都要執(zhí)行全部指令禁止多核多核并發(fā)會(huì)引入不可復(fù)現(xiàn)的執(zhí)行順序論文直接排除該場景依賴網(wǎng)絡(luò)日志通道本身要可靠且主備間延遲影響吞吐效率低于應(yīng)用級(jí)復(fù)制相比 GFS 這類只復(fù)制關(guān)鍵數(shù)據(jù)的方案機(jī)器級(jí)復(fù)制成本高得多這也解釋了為什么現(xiàn)實(shí)中大多數(shù)系統(tǒng)選擇應(yīng)用級(jí)復(fù)制——性價(jià)比更高。理解 VMware FT 的取舍才能真正理解容錯(cuò)系統(tǒng)設(shè)計(jì)的本質(zhì)。在雷神項(xiàng)目中如何系統(tǒng)學(xué)習(xí) VMware FTthor 雷神項(xiàng)目為 MIT 6.824 提供了高質(zhì)量的中文翻譯建議按以下順序?qū)W習(xí)先看 Lec4.en.txt 了解第四講整體脈絡(luò)精讀 Lec4-3.zh.txt 掌握架構(gòu)與主備份思想研讀 Lec4-4.zh.txt 理解非確定性事件與日志通道配合 primary_backup_replication.en.srt 的英文原聲校對(duì)細(xì)節(jié)遇到術(shù)語混淆時(shí)查閱 glossary.md 術(shù)語對(duì)照表如 Fault Tolerance→容錯(cuò)、Replication→復(fù)制?？偨Y(jié)VMware FT 用主備份復(fù)制實(shí)現(xiàn)了系統(tǒng)級(jí)的透明容錯(cuò)兩臺(tái)虛擬機(jī)通過日志通道同步輸入事件用確定性重放化解非確定性難題靠故障切換保證服務(wù)不中斷。它的思路——讓兩臺(tái)機(jī)器執(zhí)行完全相同的指令——雖然簡單卻深刻揭示了容錯(cuò)系統(tǒng)的核心權(quán)衡。想在實(shí)戰(zhàn)層面吃透它不妨從雷神項(xiàng)目的中文講稿開始一步步走進(jìn)分布式容錯(cuò)的精彩世界?！久赓M(fèi)下載鏈接】thor項(xiàng)目地址: https://gitcode.com/gh_mirrors/thor3/thor創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考