namenode是
整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹，檔案/目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。
檔案包括：
① fsimage:元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。
② edits:操作日誌檔案。
③ fstime:儲存最近一次checkpoint的時間
以上這些檔案是儲存在linux的檔案系統中。
namenode
的工作特點
namenode
始終在記憶體中儲存
metedata
，用於處理「讀請求」
到有「寫請求」到來時，
namenode
會首先寫
editlog
到磁碟，即向edits檔案中寫日誌，成功返回後，才會修改記憶體，並且向客戶端返回
hadoop
會維護乙個
fsimage
檔案，也就是
namenode
中metedata
的映象，但是
fsimage
不會隨時與
namenode
記憶體中的
metedata
保持一致，而是每隔一段時間通過合併
edits檔案來更新內容。secondary namenode
就是用來合併
fsimage
和edits檔案來更新namenode的
metedata
的。secondarynamenode
的工作流程
1. secondary
通知namenode
切換edits檔案
2.secondary
從namenode
獲得fsimage
和edits(通過http)
3.secondary
將fsimage
載入記憶體，然後開始合併
edits
4.secondary
將新的fsimage
發回給namenode
5.namenode
用新的fsimage
替換舊的
HDFS之namenode管理元資料機制及一些問題
namenode對資料的管理採用了三種儲存形式 記憶體元資料 namesystem 磁碟元資料映象檔案 資料操作日誌檔案 可通過日誌運算出元資料 元素據儲存機制 1 記憶體中有乙份完整的元資料 記憶體meta data 2 磁碟有乙個 準完整 的元資料映象 fsimage 檔案 在namenode的...
HDFS中namenode元資料管理機制
元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時，datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時，namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...
HDFS之NameNode故障處理
namenode故障後，可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 1.kill 9 namenode程序 2.刪除namenode儲存的資料 opt module hadoop 2.7.2 data tmp dfs name...