易於擴充套件的分布式檔案系統
執行在大量普通廉價機器上，提供容錯機制
為大量使用者提供效能不錯的檔案訪問服務
自動快速檢測應對硬體錯誤
流式訪問資料
移動計算比移動資料本身更划算
簡單一致性模型
異構平台可移植
高可靠性:hadoop儲存和處理資料的能力強
高擴充套件性: 有效的分布資料計算,在不同節點上
高效性:動態的移動資料,可以保證各個節點之間的資料平衡
高容錯: hadoop能自動儲存檔案副本,執行計算任務失敗會自動重新分配
無法高效儲存大量小檔案(因為hdfs檔案儲存機制問題)
不支援多使用者寫入以及任意修改檔案
不適合低延遲資料訪問
namenode metadata元資料
HDFS的設計目標
1 檢測和快速恢復硬體故障。硬體故障時計算機常見的問題。整個hdfs系統由數百甚至上千個儲存著資料檔案的伺服器組成。而如此多的伺服器則意味著高故障率，因此，故障的檢測和快速自動恢復是hdfs的乙個核心目標。2 流式的資料訪問。hdfs使應用程式流式地訪問它們的資料集。hdfs被設計成適合進行批量處理...
HDFS架構設計
hdfs架構設計 程序namenode nn 名稱節點 secondary namenode snn 第二名稱節點 datanode dn 資料節點 主從架構 rack 機架 可以放多個主機 10個 gpu主機 5個 nn 檔案系統的命名空間 a.檔名稱 b.檔案目錄結構 c.檔案屬性 建立時間 許...
Hadoop中HDFS的設計目標
1.檢測和快速恢復硬體故障 硬體故障是計算機常見的問題。整個hdfs系統由數百甚至數千個儲存著資料檔案的伺服器組成。而如此多的伺服器則意味著高故障率，因此故障的檢測和快速自動恢復是hdfs的乙個核心目標。2.流式的資料訪問 hdfs使應用程式流式地訪問它們的資料集。hdfs被設計成適合進行批量處理，...