namenode儲存檔案系統元資料映象,namenode在記憶體及磁碟上分別存在乙份元資料映象檔案,記憶體中元資料映象保證了hdfs檔案系統檔案訪問效率,磁碟上的元資料映象保證了hdfs檔案系統的安全性。
namenode在磁碟上的檔案組成:
fsimage檔案:儲存檔案系統至上次checkpoint為止目錄和檔案元資料。
edits檔案:儲存檔案系統從上次checkpoint起對hdfs的所有操作記錄日誌資訊。
fstime檔案:儲存檔案系統更新操作的時間
首次啟動:
首先進行格式化,為了生成fsimage映象檔案
啟動namenode:
讀取fsimage生成記憶體中元資料映象。
啟動datanode:
向namenode註冊;
向namenode傳送blockreport。
之後啟動:
啟動namenode:
讀取fsimage元資料映象檔案,載入到記憶體中。
讀取editlog日誌檔案,載入到記憶體中,使當前記憶體中元資料資訊與上次關閉系統時保持一致。然後在磁碟上生成乙份同記憶體中元資料映象相同的fsimage檔案,同時生成乙個新的null的editlog檔案用於記錄以後的hdfs檔案系統的更改。
啟動datanode:
向namenode註冊;
向namenode傳送blockreport。
secondarynamenode(輔助namenode)
由於啟動namenode時候讀取fsimage的速度比edits的速度快,所以如果長時間不重啟namenode會導致edits檔案變得很大,下次啟動的速度就會很慢。
secondarynamenode的作用就是每隔一段時間(預設是1小時,觸發條件很多)就會將fsimage和edits檔案進行合併生成新的fsimage,建立乙個新的空的edits檔案用於存放檔案系統改變的日誌檔案。
四 HDFS中NameNode的啟動過程
一 hdfs中namenode的啟動過程 1 在hdfs site.xml 中設定檔案儲存路徑並指向 data 路徑,在 hadoop 安裝路徑中新建 data 目錄。2 進行 namenode 格式化,在 data 目前中生成各類目錄,並生成 fsimage 檔案。3 第一次啟動 namenode...
HDFS之NameNode故障處理
namenode故障後,可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 1.kill 9 namenode程序 2.刪除namenode儲存的資料 opt module hadoop 2.7.2 data tmp dfs name...
HDFS中namenode元資料管理機制
元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...