《大數(shù)據(jù)技術原理與應用第3版》期末復習——第三章分布式文件系統(tǒng)HDFS習題又到期末沖刺的時候了。這門課里第三章的HDFSHadoop分布式文件系統(tǒng)幾乎是必考的重點章節(jié)名詞解釋、簡答、論述題都能從這里出題判斷和選擇題更是喜歡在細節(jié)上埋伏筆。如果只背結論不摳原理遇到改錯題和場景分析題很容易翻車。這篇文章把我梳理過的HDFS考點、易錯點、典型習題和記憶方法一次性整理出來照著這份清單過一遍比悶頭刷十頁PPT扎實得多。我先把話說在前面這一章的關鍵不是記住“默認塊大小是128MB”這個數(shù)字而是理解“為什么是128MB”“副本機制解決了什么問題”“寫一條數(shù)據(jù)的完整鏈路是什么”?？荚嚳嫉氖沁壿嬫湕l不是孤立的知識點。下面按復習順序逐塊拆解。1. 全章知識骨架與記憶主線1.1 先建立一張“設計動機→解決方案”的對應表復習HDFS之前先想清楚一個根本問題為什么大數(shù)據(jù)場景下不能直接用普通文件系統(tǒng)單臺服務器的磁盤容量有限、讀寫帶寬有限、硬件故障率還不低一旦磁盤損壞數(shù)據(jù)就沒了。HDFS的核心價值就是把“多臺廉價服務器上的磁盤”組織成一個邏輯上的超大文件系統(tǒng)同時解決三個問題大文件存儲、高吞吐讀寫、自動容錯。我復習時習慣畫一張對應表左邊是問題右邊是HDFS的答案這張表放到考試里就是論述題的核心骨架普通文件系統(tǒng)面臨的痛點HDFS的對應設計單機容量有限存不下PB級數(shù)據(jù)數(shù)據(jù)分塊后分散存儲到多臺機器上單機磁盤故障會導致數(shù)據(jù)永久丟失每個數(shù)據(jù)塊保存多個副本自動檢測并恢復單機讀寫帶寬受限處理速度慢多節(jié)點并行讀寫數(shù)據(jù)塊分布在集群中文件元數(shù)據(jù)目錄、權限、塊位置量大由NameNode統(tǒng)一管理只保存元數(shù)據(jù)不存數(shù)據(jù)小概率的節(jié)點故障影響整體可用性主節(jié)點NameNode和從節(jié)點DataNode各自獨立承擔角色故障隔離這張表最大的意義是幫你把章節(jié)里零散的知識點掛到一條主線上HDFS做的每件事本質都在回答“如何用一堆便宜的機器提供可靠、高吞吐的存儲服務”。理解了這條主線就算考試出一道你沒見過的新場景題也能按照這個思路去推導答案。1.2 四個核心關鍵詞決定全章考點分布這一章表面內容多但真正反復考的就是四組關鍵詞數(shù)據(jù)塊與副本、NameNode/DataNode/SecondaryNameNode三個角色的職責、讀寫數(shù)據(jù)流、容錯與恢復機制。我在復習時把這四組當作四個籃子遇到任何知識點就往籃子里放。比如“機架感知”屬于副本放置策略“校驗和”屬于數(shù)據(jù)完整性校驗“安全模式”屬于啟動恢復流程“租約”屬于寫過程的并發(fā)控制。這樣歸類之后復習時不會漏項做題時看到關鍵詞也能快速定位考點。順便提一句很多同學會把注意力放在HDFS的“大文件”上忽略了它對“小文件”并不友好這一點?？荚嚺袛囝}里經(jīng)常出現(xiàn)“HDFS適合存儲大量小文件”這種錯誤說法。記住HDFS是為大文件、流式訪問設計的大量小文件會把NameNode內存拖垮因為每個文件、每個塊都要在NameNode里對應一條元數(shù)據(jù)記錄。2. 高頻考點逐個擊破塊、副本與三個核心角色2.1 數(shù)據(jù)塊與副本機制——為什么塊不能太大也不能太小數(shù)據(jù)塊Block是HDFS存儲的最小單元默認大小在Hadoop 2.x之后是128MB舊版本是64MB?？荚嚦？嫉膬蓚€點一是默認值二是塊大小設計背后“尋址時間與傳輸時間平衡”的邏輯。這個邏輯要能自己講清楚磁盤尋址時間大約10ms如果塊太小比如4KB那么傳輸一個塊可能只需要不到1ms尋址時間占比過高效率極低。為了讓數(shù)據(jù)傳輸時間占比至少是尋址時間的10倍以上塊的大小要設計到百MB級別。按百MB每秒的磁盤傳輸速度計算128MB的塊傳輸時間約1秒左右相比10ms尋址時間已經(jīng)足夠掩蓋尋址開銷。塊太大也不行因為MapReduce任務處理一個塊是一個最小計算單元塊太大導致任務數(shù)太少不利于并行計算塊太小又導致元數(shù)據(jù)膨脹NameNode內存不足。副本機制也是必考。默認副本數(shù)是3放置策略講究“機架感知”第一個副本放在客戶端所在節(jié)點如果客戶端不在集群內則隨機選一個節(jié)點第二個副本放在與第一個副本相同機架的另一臺節(jié)點第三個副本放在不同機架的節(jié)點。這么設計是為了兼顧容錯和帶寬同機架內副本可以快速同步跨機架副本能抵抗整個機架斷電或交換機故障?？己喆痤}時要把“同一機架”“不同機架”這個層次說清楚只說“不同機器上”是不夠的。這里補充一個常見的計算題一個128MB的文件默認塊大小128MB副本數(shù)3實際占用存儲空間是多少答案簡單128MB乘以3等于384MB。但如果文件是200MB它會分成兩個塊2個塊各存3份副本實際占用600MB?？荚囉袝r候會把“邏輯文件大小”和“物理占用空間”混在一起考做題時一定要先把塊數(shù)量算清楚。2.2 NameNode、DataNode與SecondaryNameNode的分工與常見誤區(qū)NameNode是HDFS的主節(jié)點負責管理文件系統(tǒng)的命名空間維護文件目錄樹、文件與塊的映射關系、塊與DataNode的映射關系。它不存儲實際數(shù)據(jù)所有元數(shù)據(jù)都保存在內存中便于快速響應客戶端請求。這個“只存元數(shù)據(jù)、不存數(shù)據(jù)”的設計經(jīng)?？纪瑫r也解釋了一個經(jīng)典面試題為什么NameNode內存大小限制了集群規(guī)模因為文件數(shù)、塊數(shù)越多元數(shù)據(jù)量越大內存不夠就撐不住。DataNode是實際存儲節(jié)點負責讀寫本地磁盤上的數(shù)據(jù)塊周期性向NameNode上報自己保存的塊列表塊報告。DataNode還要響應客戶端的直接讀寫請求。?？嫉囊粋€判斷題是“客戶端讀寫數(shù)據(jù)必須經(jīng)過NameNode轉發(fā)”這是錯誤的。NameNode只負責告訴客戶端“你要的數(shù)據(jù)在哪個DataNode上”實際數(shù)據(jù)傳輸是客戶端與DataNode之間直接進行的不經(jīng)過NameNode。這樣可以避免主節(jié)點成為性能瓶頸。SecondaryNameNode是理解上最容易出錯的一個角色。它不是NameNode的熱備不能在主節(jié)點宕機后自動頂上去它的職責是定期合并NameNode的編輯日志EditsLog和鏡像文件FsImage減輕NameNode啟動時的合并壓力并在NameNode宕機時輔助恢復數(shù)據(jù)?？荚嚱?jīng)常出辨析題“SecondaryNameNode是NameNode的備份節(jié)點”讓判斷對錯答案是“錯”。它只是輔助合并日志的幫手最多能保留一份相對較新的檢查點數(shù)據(jù)但無法保證零丟失接管。為了把三個角色徹底分清可以這樣記憶NameNode是大腦管記憶不干活。DataNode是手腳真干活存儲和讀寫數(shù)據(jù)。SecondaryNameNode是秘書定期幫大腦把工作日志整理歸檔但大腦出問題時秘書不能完全替代大腦。2.3 元數(shù)據(jù)、FsImage與EditsLog——啟動流程里暗藏考點FsImage是NameNode內存元數(shù)據(jù)在磁盤上的快照EditsLog是每次操作產(chǎn)生的日志記錄。NameNode啟動時會把FsImage加載到內存然后重放EditsLog中的操作記錄最后把合并后的狀態(tài)寫回新的FsImage。這個流程里最典型的考法是把順序打亂讓你判斷哪一步有問題或者直接問“NameNode啟動時先加載誰、再重放誰”?？荚嚭喆痤}還喜歡問“為什么HDFS不適合存儲大量小文件”答案要點就是小文件會導致元數(shù)據(jù)膨脹占用NameNode內存同時小文件也導致尋址時間占比上升讀寫效率下降。另外每個小文件對應一個塊分布式計算框架處理小文件時會產(chǎn)生過多任務調度開銷變大。3. 讀寫流程與可靠性機制把完整鏈路講出邏輯感3.1 寫文件流程——流水線復制與應答機制HDFS寫文件是高頻考點經(jīng)常以簡答題或流程描述題出現(xiàn)而且跨章節(jié)的MapReduce題目里也可能作為前置步驟。完整流程可以壓縮成七個步驟客戶端調用DistributedFileSystem的create()方法創(chuàng)建文件。NameNode檢查文件是否已存在、路徑是否合法、權限是否足夠。檢查通過后在命名空間創(chuàng)建新文件記錄返回輸出流對象?？蛻舳藢⑽募蟹殖扇舾蓚€塊每個塊大小默認128MB并按塊寫入輸出流?？蛻舳讼騈ameNode申請第一個塊應該寫到哪些DataNodeNameNode根據(jù)副本策略返回一個DataNode列表。客戶端將塊數(shù)據(jù)直接寫入第一個DataNode第一個DataNode以64KB為粒度把數(shù)據(jù)拆成數(shù)據(jù)包通過流水線方式依次傳給第二個、第三個DataNode。當前一個DataNode寫完一個數(shù)據(jù)包后會向客戶端返回確認消息ack客戶端收到整個塊的確認后才繼續(xù)發(fā)送下一個塊。所有塊寫完后客戶端調用close()關閉流NameNode在提交文件后標記寫入完成。這套流程中的每個環(huán)節(jié)都可能變成考點。我專門整理了幾條需要注意的細節(jié)流水線復制是邊接收邊轉發(fā)而不是等收到完整塊再復制這樣能降低延遲副本之間的復制順序嚴格依照NameNode返回的DataNode列表排在第一的節(jié)點最先收到數(shù)據(jù)塊寫完之后數(shù)據(jù)并不是立刻就可以被其他客戶端讀到需要等到整條流水線確認完成這是強一致模型的一種體現(xiàn)。3.2 讀文件流程——就近讀取與多塊并行讀文件流程相對簡單但同樣有細節(jié)題?？蛻舳讼葟腘ameNode獲知文件對應的塊列表及每個塊所在的DataNode列表然后選擇離自己“最近”的DataNode讀取。這里的“最近”不是物理距離而是Hadoop定義的距離算法同節(jié)點距離最近其次是同機架再次是跨機架?？荚嚳赡艹鲆坏琅判蝾}或選擇題問“客戶端與DataNode同機架時讀取優(yōu)先級如何排序”要能正確給出結論。另一個可能的出題方向是并發(fā)讀取。HDFS允許多個客戶端并行讀取同一個文件塊的讀取互不干擾。讀過程的故障處理也要知道如果某個DataNode讀取失敗客戶端會向NameNode重新申請該塊所在的另一個DataNode繼續(xù)讀取已經(jīng)讀到的部分不會浪費。在復習讀流程時我建議跟“響應式緩存”或“本地讀優(yōu)化”這樣的延伸話題肉眼熟一遍。雖然很多教材不展開講但遇到開放性論述題時提到“HDFS會把讀取與計算調度在同一節(jié)點減少網(wǎng)絡傳輸”會是很加分的點。3.3 數(shù)據(jù)完整性校驗、安全模式與故障恢復HDFS保證數(shù)據(jù)可靠不僅要靠副本還要靠校驗和。寫入時客戶端計算每個數(shù)據(jù)包的校驗和并隨數(shù)據(jù)一起下發(fā)DataNode在存儲數(shù)據(jù)塊時會保存校驗和。讀取時如果客戶端或DataNode發(fā)現(xiàn)校驗和不匹配就說明數(shù)據(jù)損壞會從其他副本重新讀取并報告給NameNode由NameNode復制一份健康副本來修復副本數(shù)。這個機制幾乎必考一道概念題答的時候要扣住“校驗和”“副本修復”兩個關鍵詞。安全模式是啟動時的自動保護狀態(tài)。NameNode啟動時會進入安全模式期間只接收元數(shù)據(jù)請求不能進行寫操作也不會刪除、復制數(shù)據(jù)塊。NameNode通過“可用數(shù)據(jù)塊最小值”來判斷是否可以退出安全模式。默認閾值是0.999意思是當前可用副本數(shù)達到全部副本數(shù)的99.9%時才能退出安全模式?？荚囍杏幸活愵}是判斷“安全模式下能否執(zhí)行刪除操作”答案是不能。另一類是問“DataNode宕機后HDFS會不會進入安全模式”答案是當副本缺失比例過高時才會觸發(fā)少量節(jié)點宕機并會自動復制修復不必擔心整個集群鎖住。故障恢復方面DataNode與NameNode之間通過心跳機制保持聯(lián)系。DataNode默認每3秒發(fā)送一次心跳如果NameNode超過10分鐘默認參數(shù)注意教材版本差異沒有收到某個DataNode的心跳就判定該節(jié)點失效然后啟動塊復制任務在其他節(jié)點上補齊副本數(shù)?？荚嚴锍霈F(xiàn)過這樣的簡單計算或概念題副本數(shù)為3的塊一臺節(jié)點宕機后集群要等多久才會開始補副本。答題時要提到心跳超時和相關時長參數(shù)不需要死背具體秒數(shù)但要能說清楚“先等心跳超時再觸發(fā)復制”。4. 真題實戰(zhàn)演練與易錯點排查4.1 典型選擇題、判斷題與簡答題梳理為了貼合考試題型我從這門課常考的章節(jié)練習里挑了幾類有代表性的題目思路這里不追求題量大重點展示解題時如何避開陷阱。選擇題示例1關于HDFS默認塊大小下列哪項說法正確A. HDFS默認塊大小越大越好因為尋址時間占比更低B. 默認塊大小是64MB確定后不可修改C. 設計時要兼顧尋址開銷與并行計算的任務粒度D. 塊大小只影響存儲容量不影響讀寫性能這道題選C。A的說法只說對了一半塊太大會導致任務數(shù)減少影響計算并行度B把版本和可配置性搞混了不同版本默認值不同而且配置文件里可以調整D明顯錯誤因為塊大小直接影響元數(shù)據(jù)數(shù)量和任務調度數(shù)量。選擇題示例2一個128MB的物理存儲節(jié)點集群中存儲了一個200MB的文件副本數(shù)為2最少需要多少節(jié)點才能存下全部副本A. 2個B. 3個C. 4個D. 5個文件名塊是128MB和72MB兩個塊各存2份副本每個塊的兩份副本必須放在不同節(jié)點上所以至少要3個節(jié)點。有的同學按“所有副本放兩個節(jié)點上”去理解就漏掉了“不同節(jié)點”這個隱藏約束。判斷題示例1SecondaryNameNode可以隨時接管NameNode成為新的主節(jié)點。判錯。SecondaryNameNode不是熱備?？荚嚴镞@種判斷題頻頻出現(xiàn)因為教材對SecondaryNameNode描述不多很多同學望文生義。判斷題示例2客戶端在寫入數(shù)據(jù)時NameNode不參與數(shù)據(jù)轉發(fā)只負責元數(shù)據(jù)管理和DataNode選擇。判對。數(shù)據(jù)傳輸是客戶端和DataNode直接完成的。這句話幾乎每份期末卷子都會出現(xiàn)答的時候還要能配上簡單說明。簡答題示例1簡述HDFS寫文件流程中副本的流水線復制比“先寫完整塊再復制”的優(yōu)勢在哪里。答流水線方式下第一個DataNode收到一部分數(shù)據(jù)包后就開始向后傳而不是等整個128MB塊全部接收完成再傳。這樣減少了端到端的傳輸延遲同時多個DataNode幾乎是同步并行工作整體寫吞吐量更高。這一點在考試中屬于“理解型”題目只背流程不深想就可能丟分。簡答題示例2機架感知策略如何提升HDFS的可靠性答機架感知讓HDFS在放置副本時考慮物理網(wǎng)絡拓撲避免把同一塊的多個副本放在同一機架或同一節(jié)點。一旦整個機架掉電或交換機故障至少還有一個副本在其他機架上數(shù)據(jù)不會全部丟失。它同時還能提高讀寫帶寬因為客戶端會優(yōu)先選擇同機架的DataNode進行通信減少跨機架網(wǎng)絡流量。4.2 易錯點速查表考前看這一張就夠我把復習時踩過的坑和同學們經(jīng)常搞混的點匯總成一張速查表考前掃一遍比翻筆記快易錯說法正確理解“塊越小越好讀取越靈活”塊太小會導致尋址時間占比過高、元數(shù)據(jù)膨脹、任務數(shù)量爆炸“NameNode存儲數(shù)據(jù)文件”NameNode只存元數(shù)據(jù)數(shù)據(jù)文件在DataNode“SecondaryNameNode是NameNode的熱備”它是日志合并輔助角色不能自動接管“所有副本必須放在不同機架”默認策略是同機架兩份、跨機架一份“副本數(shù)越多越好”副本增加會成倍占用存儲和網(wǎng)絡帶寬一般取3即可“文件寫一半客戶端立刻能讀到最新數(shù)據(jù)”HDFS是強一致模型寫流程完成前其他客戶端不能讀到未提交數(shù)據(jù)“安全模式不能讀文件”安全模式下可以讀但不能寫、不能刪除、不能復制塊這張表里各項往深里再摳一句副本數(shù)并不是越多越好副本數(shù)越多寫入時需要同時復制的份數(shù)越多寫性能和網(wǎng)絡壓力變大平時生產(chǎn)環(huán)境常用3測試環(huán)境可以改成2但不能低于1。塊大小的調整也牽一發(fā)動全身想改默認值必須在配置文件里統(tǒng)一調整并且會影響MapReduce的任務劃分不能拍腦袋隨便改。4.3 復習沖刺建議與考場答題技巧到了考前最后兩天我不建議再從頭到尾重讀教材而是以題帶點把常見簡答、論述題快速過一遍。有一個技巧很管用每復習一個新知識點嘗試用圖表或者一個生活化比喻講給別人聽。比如把HDFS比作一個“快遞系統(tǒng)”NameNode是快遞調度中心DataNode是各個倉庫客戶下單寫文件時調度中心告訴倉庫怎么放貨、放幾份副本這樣記憶會非常牢固?？紙鲎鞔鸬臅r候凡是涉及流程類的題目一定要按先后順序寫步驟把核心對象客戶端、NameNode、DataNode和核心動作申請、傳輸、確認、合并盡量寫完整。判斷錯的地方不要只寫“錯”字考試改卷時更看重你能否指出錯在哪里。比如判斷“SecondaryNameNode是NameNode的備份節(jié)點”為錯后面補一句“它只是輔助合并日志不是熱備”分數(shù)立刻不一樣。我個人實際操作中還有個體會平時搭建集群做實驗時用命令查看塊報告和元數(shù)據(jù)信息比單純背書更有幫助。hdfs dfsadmin -report 能看到每個DataNode的容量和塊數(shù)hdfs fsck /path 能查某個文件的塊信息和副本健康狀態(tài)這些都是把理論和實際串起來的好工具。如果學校實驗課有類似環(huán)境考前動手驗證一下副本丟失后的自動恢復過程考場上寫論述題就能做到有理有據(jù)而不是空背概念。這一章的內容就梳理到這里。最后再叮囑一句HDFS的很多設計并不追求極致性能而是追求在廉價硬件條件下的可靠性和可擴展性。答題時如果能體現(xiàn)出這種“工程權衡”的思維而不是死記硬背分數(shù)一般都不會低。祝備考順利。