HDFS成員的工作機制

2022-10-04 03:39:07 字數 875 閱讀 2249

nn負責管理塊的元資料資訊,元資料資訊為fsimage和edits預寫日誌,通過edits預寫日誌來更新fsimage中的元資料資訊,

每次namenode啟動時,都會將磁碟中的fsimage讀入到記憶體

當達到snn的checkpoint標準時(一小時或100w次操作),由scc輔助nn進行edits和fsimage的合併

scc向nn詢問是否需要執行checkpoint,並且直接帶回詢問結果。

scc請求執行checkpoint

nn滾動正在寫的edits日誌,將checkpoint以前的edits和fsimage拷貝給snn

snn將edits和fsimage載入到記憶體中並且合併,生成新的檔案fsimage.checkpoint

snn將新生成的fsimage.checkpoint拷貝給nn,nn將檔案改名為fsimage

fsimage 是 namenode 自最後一次 checkpoint 之前的全部元資料,並不是實時的資料

fsimage 儲存了 namenode 管理下的所有 datanode 的檔案和目錄資訊

(對檔案來說:包括檔案的 block、各個 block 所在的 datanode,以及它們的修改時間、訪問時間等

對目錄來說:包括修改時間、訪問許可權控制資訊(許可權、屬組)等。)

fsimage 缺省會儲存2個,由屬性 dfs.namenode.num.checkpoints.retained 控制。

dn在啟動後會向nn進行註冊,匯報塊資訊,

在註冊成功後,預設每隔6小時向nn匯報一次塊資訊,

每三秒與nn進行一次心跳,心跳會帶回nn對dn的命令,如刪除某資料塊(如果超過10分鐘+30秒沒有與nn進行心跳則會認為次dn已經掛掉)

集群執行中可以安全的加入和退出一些機器

HDFS 的工作機制 讀操作

1 client 向 namenode 發起 rpc 請求,來確定請求檔案 block 所在的位置 2 namenode會視情況返回檔案的部分或者全部block列表,對於每個block,namenode 都會返回含有該 block 副本的 datanode 位址 3 這些返回的 dn 位址,會按照集...

HDFS中DataNode工作機制

1 datanode工作機制 1 乙個資料塊在 datanode 上以檔案形式儲存在磁碟上,包括兩個檔案,乙個是資料本身,乙個是元資料報括資料塊的長度 塊資料的校驗和以及時間戳。2 datanode 啟動後向 namenode 註冊,通過後,週期性 1小時 的向 namenode 上報所有的塊資訊。...

HDFS中DataNode工作機制

1.datanode工作機制 1 乙個資料塊在datanode上以檔案形式儲存在磁碟上,包括兩個檔案,乙個是資料本身,乙個是元資料 包括資料塊的長度,塊資料的校驗和,以及時間戳 2 datanode啟動後向namenode註冊,通過後,週期性 1小時 的向namenode上報所有的塊資訊。3 心跳是...