NameNode元資料管理機制

2022-04-07 16:39:21 字數 674 閱讀 4899

1.使用者上傳檔案的的過程

解析 ①使用者向nn申請上傳檔案

②nn將分配的dn資訊記錄追加在edit.log的檔案中

③nn將分配的dn資訊返回給客戶端

④客戶端將檔案上傳到各個節點上

⑤客戶端將上傳成功的資訊返回給nn節點,

⑥nn將edit.log檔案中的內容寫入記憶體中,一次上傳檔案的操作完成了

⑦當edit.log檔案被寫滿之後,將會執行checkpoint操作,與fsimage合併,刷進記憶體的映象檔案裡面(fsimge)

總結:edit.log儲存最新元資料記錄,fsimage儲存最全的元資料記錄

2.為防止影響響應速度,由secondarynamenode來做edit**.log與fsimage的合併工作

解析:①當edit.log檔案滿了之後,將會通知sn執行checkpoint操作

②sn要求nn停止往edits.log檔案中寫入資料,並為他推送乙個新的檔案讓他往裡面寫資料

③sn將**nn裡面的fsimage,edit.log,用來執行合併操作

④執行合併操作

⑤將合併之後的fsimage上傳給nn,並將那個新的檔案edits.new.log重新命名為之前的名字edits.log

重新整理完成

注:圖中的edit.log就是edits.log,畫圖時沒注意,不過不影響讀者的理解,哈哈

NameNode資料管理機制

namenode是整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求 檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpoi...

HDFS及NameNode元資料管理機制細節

namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...

HDFS中namenode元資料管理機制

元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...