HDFS的特性和缺點

2021-09-29 08:33:32 字數 443 閱讀 8574

海量資料儲存 :hdfs 可橫向擴充套件,其儲存檔案可以支援pb級別資料

高容錯性 :節點丟失,系統依然可用,資料儲存多個副本,副本丟失後自動恢復。可建構在廉價(與小型機大型機比)的機器上,實現線性擴充套件(隨著節點數量的增加,集群的儲存能力增加)

大檔案儲存 :dfs採用資料塊的方式儲存資料,將乙個大檔案切分成多個小檔案,分布儲存

不能做到低延遲資料訪問:hdfs 針對一次性讀取大量資料繼續了優化,犧牲了延遲性。

不適合大量的小檔案儲存:

a:由於namenode將檔案系統的元資料儲存在記憶體中,因此該檔案系統所能儲存的檔案總數受限於namenode的記憶體容量

b:每個檔案,目錄和資料塊的儲存資訊大約佔150位元組。

由於以上兩個原因,所以導致hdfs不適合儲存大量的小檔案

檔案的修改 :不適合多次寫入,一次讀取(少量讀取)

不支援多使用者的並行寫

HDFS的特性和缺點

1 海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均衡到新的節點上。3 商用硬體 ...

HDFS特性與缺點的概述

目標 掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均...

HDFS的優缺點

hdfs的優點 1 資料冗餘 硬體容錯 檔案以block的方式,多副本儲存在集群的節點上,保證硬體的容錯,當某一機器損壞時,不至於資料丟失 2 處理流式的資料訪問 流式 一次寫入,多次讀取的操作 3 適合儲存大檔案 4 可構建在廉價的機器上 缺點 1 低延遲的資料訪問 資料大,想在秒級別做資料的檢索...