hdfs由namenode、datanode、senconarynamenode 、client組成
作用：namenode：是乙個主管，管理者
(1) 管理hdfs的命名空間;
(2)配置副本策略;
(3) 管理資料塊(block) 對映資訊;
(4)處理客戶端讀寫請求。
datanode:
(1)儲存實際的資料塊;
(2)執行資料塊的讀/寫操作。
senconarynamenode：
(1)輔助namenode,分蜞工作量，比如定期合併fsimage和edits, 並推送給namenode ;
(2)在緊急情況下，可輔助恢復namenode。
hdfs (hadoop distributed file system)，它是乙個檔案系統，用於儲存檔案，通過目錄樹
來定位檔案;其次它是分布式的，由很多伺服器聯合起來實現其功能，集群中的伺服器有各
自的角色。
hdfs的使用場景:適合一次寫入，多次讀出的場景，環支援檔案的修改。適合用來做數
據分析，並鈽適給用來做網應用。
4.hdfs的塊大小?為什麼不能太大，也不能太小?
(1) hdfs的塊設定太小，會增加定址時間,程式-直在找塊的開始位置;
(2)如果塊設定的太大,從磁碟傳輸資料的時間會明顯大於定位這個塊開
始位置所需的時間。導致程式在處理這塊資料時, 會非常慢。
總結: hdfs塊的大小設定主要取決於磁碟傳輸速率。
HDFS知識總結
自動檢測處理硬體錯誤 流式訪問資料 轉移計算比移動資料更划算 簡單一致性模型 異構平台的可移植性。hdfs的檔案被分成塊進行儲存 hdfs塊預設大小64mb 塊是檔案儲存處理的邏輯單元 namenode 執行在所有的master上，用來存放元資料，如檔名儲存 塊的數量 副本的數量 位置塊 塊 id ...
HDFS篇 HDFS相關概念總結
簡介 儲存模型為 位元組，以檔案切割成塊，單一檔案大小一致，檔案與檔案間可以不一致。其可以設定副本數，副本數不可超過節點數量。只支援一次寫入多次讀取，可追加資料。架構模型 namenode節點儲存檔案的元資料 單節點 datanode節點儲存檔案block資料 多節點 datanode與nameno...
HDFS知識點 四 HDFS元資料管理
元資料就是 hdfs的目錄結構以及每個檔案的block資訊 id 副本係數 block存放在哪個datanode上 對應配置 name 在 name current下，這些就是元資料 元資料存放在檔案中 一般情況下合併不會交給namenode來操作的，因為客戶端的所有請求都在namenode上，如果...