namenode對資料的管理採用了三種儲存形式:
記憶體元資料(namesystem)
磁碟元資料映象檔案
資料操作日誌檔案(可通過日誌運算出元資料)
元素據儲存機制
1、記憶體中有乙份完整的元資料(記憶體meta data)
2、磁碟有乙個「準完整」的元資料映象(fsimage)檔案(在namenode的工作目錄中)
3、用於銜接記憶體metadata和持久化元資料映象fsimage之間的操作日誌(edits檔案)。
注:當客戶端對hdfs中的檔案進行新增或者修改操作,操作記錄首先被記入edits日誌檔案中,當客戶端操作成功後,相應的元資料會更新到記憶體meta.data中
namenode如何管理元資料
流程圖:
HDFS之NameNode故障處理
namenode故障後,可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 1.kill 9 namenode程序 2.刪除namenode儲存的資料 opt module hadoop 2.7.2 data tmp dfs name...
NameNode之資料塊管理
一 block replica blocksmap hdfs使用block類抽象namenode中的資料塊,block實現了writable介面,是可以序列化的,並且實現了comparable介面,可以按照blockid大小排序。定義了三個字段 blockid 唯一識別符號 numbytes 資料塊...
HDFS及NameNode元資料管理機制細節
namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...