namenode是整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案/目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求
檔案包括:
①fsimage:元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。
②edits:操作日誌檔案。
③fstime:儲存最近一次checkpoint的時間
以上這些檔案是儲存在linux的檔案系統中.
namenode的工作特點
:1、客戶端上傳檔案,nn首先往edits.log檔案中記錄資料操作日誌。
2、客戶端開始上傳檔案,完成後返回成功資訊給nn,nn就在記憶體中寫入這次上傳操作的新產生的資料資訊。
3、每當edits.log寫滿時需要將這段時間的新的原資料寫到fsimage檔案中去。
hadoop
會維護乙個
fsimage
檔案,也就是
namenode
中metedata
的映象,但是
fsimage
不會隨時與
namenode
記憶體中的
metedata
保持一致,而是每隔一段時間通過合併
edits檔案來更新內容。secondary namenode
就是用來合併
fsimage
和edits檔案來更新namenode的
metedata
的。secondary namenode的工作流程:
1.secondary通知namenode切換edits檔案
2.secondary從namenode獲得fsimage和edits(通過http)
3.secondary將fsimage載入記憶體,然後開始合併edits
4.secondary將新的fsimage發回給namenode
5.namenode用新的fsimage替換舊的fsimage
觸發checkpoint條件:
l、fs.checkpoint.period 指定兩次checkpoint的最大時間間隔,預設3600秒。
2、fs.checkpoint.size 規定edits檔案的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。預設大小是64m。
NameNode元資料管理機制
1.使用者上傳檔案的的過程 解析 使用者向nn申請上傳檔案 nn將分配的dn資訊記錄追加在edit.log的檔案中 nn將分配的dn資訊返回給客戶端 客戶端將檔案上傳到各個節點上 客戶端將上傳成功的資訊返回給nn節點,nn將edit.log檔案中的內容寫入記憶體中,一次上傳檔案的操作完成了 當edi...
HDFS及NameNode元資料管理機制細節
namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...
HDFS中namenode元資料管理機制
元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...