namenode職責:
負責客戶端請求的響應
元資料的管理(查詢,修改)
客戶端經常性的會有 查詢元資料的請求 和更新元資料的請求
namenode對資料的管理採用了三種儲存形式:
記憶體元資料(namesystem)
磁碟元資料映象檔案(fsimage)
資料操作日誌檔案(可通過日誌運算出元資料edits)
secondary namenode 主要對image映象檔案的管理
1.當有元資料有更新請求的時候,先記錄操作日誌edits,
2.然後會更新到記憶體當中
3.checkpiont 觸發條件:定時 或者是edits中的記錄數量(預設情況下30分鐘)
4.namenode檢查觸發條件,當滿足條件,會向secondarynamenode做出請求
5 edits.inprogress會立馬滾動一次,將正在寫的資料生成為舊的edits
7,將fsimage和edits合併成為乙個新的檔案fsimage
8,把生成的新的檔案請求上傳到namenode,nomenode會將本地fsimage進行覆蓋
NameNode元資料管理機制
1.使用者上傳檔案的的過程 解析 使用者向nn申請上傳檔案 nn將分配的dn資訊記錄追加在edit.log的檔案中 nn將分配的dn資訊返回給客戶端 客戶端將檔案上傳到各個節點上 客戶端將上傳成功的資訊返回給nn節點,nn將edit.log檔案中的內容寫入記憶體中,一次上傳檔案的操作完成了 當edi...
HDFS及NameNode元資料管理機制細節
namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...
HDFS中namenode元資料管理機制
元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...