HDFS的設計目標

1 檢測和快速恢復硬體故障。

硬體故障時計算機常見的問題。整個hdfs系統由數百甚至上千個儲存著資料檔案的伺服器組成。而如此多的伺服器則意味著高故障率，因此，故障的檢測和快速自動恢復是hdfs的乙個核心目標。

2 流式的資料訪問。

hdfs使應用程式流式地訪問它們的資料集。hdfs被設計成適合進行批量處理，而不是使用者互動式處理。所以它重視資料吞吐量，而不是資料訪問的反應速度。

3 簡化一致性模型。

大部分的hdfs程式對檔案模型的操作需要一次寫入，多次讀取。乙個檔案一旦經過建立，寫入，關閉就不需要修改了。這個假設簡化了資料一致性問題和高吞吐量的資料訪問問題。

4 通訊協議。

所有的通訊協議都是在tcp/ip協議之上的。乙個客戶端和明確配置了埠的名字節點(namenode)建立連線之後，它和名字節點的協議便是客戶端協議(client protocal)。資料節點(datanode)和名字之間則用資料節點協議(datanode protocal)。

Hadoop中HDFS的設計目標

1.檢測和快速恢復硬體故障 硬體故障是計算機常見的問題。整個hdfs系統由數百甚至數千個儲存著資料檔案的伺服器組成。而如此多的伺服器則意味著高故障率，因此故障的檢測和快速自動恢復是hdfs的乙個核心目標。2.流式的資料訪問 hdfs使應用程式流式地訪問它們的資料集。hdfs被設計成適合進行批量處理，...

HDFS 簡介 設計目標 特點 架構

易於擴充套件的分布式檔案系統 執行在大量普通廉價機器上，提供容錯機制 為大量使用者提供效能不錯的檔案訪問服務 自動快速檢測應對硬體錯誤 流式訪問資料 移動計算比移動資料本身更划算 簡單一致性模型 異構平台可移植 高可靠性 hadoop儲存和處理資料的能力強 高擴充套件性 有效的分布資料計算,在不同節...

HDFS分布式檔案系統設計目標

hdfs分布式檔案系統設計目標 1.硬體錯誤 由於集群很多時候由數量眾多的廉價機組成，使得硬體錯誤成為常態 2.資料流訪問 所有應用以流的方式訪問資料，設定之初便是為了用於批量的處理資料，而不是低延時的實時互動處理 3.大資料集 典型的hdfs集群上面的乙個檔案是以g或者t數量級的，支援乙個集群當中...