1.使用者上傳檔案的的過程
解析 ①使用者向nn申請上傳檔案
②nn將分配的dn資訊記錄追加在edit.log的檔案中
③nn將分配的dn資訊返回給客戶端
④客戶端將檔案上傳到各個節點上
⑤客戶端將上傳成功的資訊返回給nn節點,
⑥nn將edit.log檔案中的內容寫入記憶體中,一次上傳檔案的操作完成了
⑦當edit.log檔案被寫滿之後,將會執行checkpoint操作,與fsimage合併,刷進記憶體的映象檔案裡面(fsimge)
總結:edit.log儲存最新元資料記錄,fsimage儲存最全的元資料記錄
2.為防止影響響應速度,由secondarynamenode來做edit**.log與fsimage的合併工作
解析:①當edit.log檔案滿了之後,將會通知sn執行checkpoint操作
②sn要求nn停止往edits.log檔案中寫入資料,並為他推送乙個新的檔案讓他往裡面寫資料
③sn將**nn裡面的fsimage,edit.log,用來執行合併操作
④執行合併操作
⑤將合併之後的fsimage上傳給nn,並將那個新的檔案edits.new.log重新命名為之前的名字edits.log
重新整理完成
注:圖中的edit.log就是edits.log,畫圖時沒注意,不過不影響讀者的理解,哈哈
NameNode資料管理機制
namenode是整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求 檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpoi...
HDFS及NameNode元資料管理機制細節
namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...
HDFS中namenode元資料管理機制
元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...