元資料就是 hdfs的目錄結構以及每個檔案的block資訊（id、副本係數、block存放在哪個datanode上）對應配置 $/name
在 name/current下，這些就是元資料
元資料存放在檔案中
一般情況下合併不會交給namenode來操作的，因為客戶端的所有請求都在namenode上，如果再把合併的事情交給它，那麼它的壓力就太大了，所以就有secondnamenode。
seconde namenode是namenode的乙個小弟，專門來幹合併的事情的。secondnamenode是乙個新的程序
secondarynamenode將namenode中的fsimage拿過來，然後反序列化到記憶體，然後將edits中記錄的所有對於hdfs的操作更新到記憶體中，再產生新的fsimage，再用新的fsimage去更新namenode的fsimage
這個過程叫做checkpoint
HDFS元資料
從形式上講，元資料可分為記憶體元資料和元資料檔案兩種。其中namenode在記憶體中維護整個檔案系統的元資料映象，用於hdfs的管理 元資料檔案則用於持久化儲存。從型別上講，元資料有三類重要資訊 第一類是檔案和目錄自身的屬性資訊，例如檔名 目錄名 父目錄資訊 檔案大小 建立時間 修改時間等。第二類記...
hadoop基本知識點之HDFS
1.hadoop組成 hadoop主要由三大模組組成 1.1 hdfs 儲存模組 1.2.yarn 資源調配模組 引擎 分布式資源管理框架 1.3.mapreduce 計算引擎 2.hdfs儲存模型 3.hdfs架構模型 4.1 基於記憶體儲存 4.2 namenode主要功能 接受客戶端的讀寫要求...
hdfs元資料儲存
namenode如何儲存元資料 1.nn對元資料的管理分為三部分，記憶體中完整的元資料，磁碟中接近完整的元資料映象檔案 fsimage 記錄元資料操作資訊的edits檔案 2.snn通過配置，定時請求nn，進行checkpoint 3.nn接受到checkpoint請求，會立即滾動正在寫的edits...