namenode&secondary namenode
工作機制
文字總結：
1）第一階段：
namenode啟動
（21）第一次啟動
namenode
格式化後，建立
fsimage
和edits
檔案。如果不是第一次啟動，直接載入編輯日誌和映象檔案到記憶體。（2
）客戶端對元資料進行增刪改查的請求（3
）namenode
記錄操作日誌，更新滾動日誌。 （
4）namenode
在記憶體中對資料進行增刪改查
）第二階段：
secondary namenode工作
（1）secondary namenode
詢問namenode
是否需要
checkpoint
。直接帶回
namenode
是否檢查結果。
（2）secondary namenode
請求執行
checkpoint
。
（3）namenode
滾動正在寫的
edits
日誌
（4）將滾動前的編輯日誌和映象檔案拷貝到
secondary namenode
（5）secondary namenode
載入編輯日誌和映象檔案到記憶體，並合併。
（6）生成新的映象檔案
fsimage.chkpoint
（7）拷貝fsimage.chkpoint
到namenode （
8）namenode
將fsimage.chkpoint
重新命名成
1）乙個資料塊在
datanode
上以檔案形式儲存在磁碟上，包括兩個檔案，乙個是資料本身，乙個是元資料報括資料塊的長度，塊資料的校驗和，以及時間戳。2）
datanode
啟動後向
namenode
註冊，通過後，週期性（
1小時）的向
namenode
上報所有的塊資訊。
3）心跳是每
3秒一次，心跳返回結果帶有
namenode
給該datanode
的命令如複製塊資料到另一台機器，或刪除某個資料塊。如果超過
10分鐘沒有收到某個
datanode
的心跳，則認為該節點不可用。
4）集群執行中可以安全加入和退出一些機器
namenode和datanode執行原理
hdfs集群中有兩類節點 工作節點datanode 管理節點namenode namenode管理檔案系統的命名空間，它維護著檔案系統樹以及該樹所有的檔案和目錄。這些資訊以兩個檔案形式永久儲存在本地磁碟上，分別是命名空間映象檔案和編輯日誌檔案。namenode記錄著每個檔案系統中各個塊所在的資料節點...
NameNode中的Fsimage和Edits解析
在在 opt module hadoop 2.7.2 data tmp dfs name current 目錄下 1.fsimage檔案 hdfs檔案系統元資料的乙個永久性的檢查點，其中包含hdfs檔案系統的所有目錄和檔案idnode的序列化資訊 2.fsimage.md5檔案 是映象檔案的 md5...
NameNode和DataNode間的聯絡
本文內容還是 自 吳超沉思錄裡的，還是挺佩服吳超老師的o o 以下介紹namenode和datanode所扮演的角色 1 namenode namenode的作用是管理檔案目錄結構，是管理資料節點的。namenode維護兩套資料 一套是檔案目錄與資料塊之間的關係，另一套是資料塊與節點間的關係。前一套...