HDFS的優缺點

2021-08-28 07:26:45 字數 502 閱讀 3922

hdfs的優點:

1)資料冗餘、硬體容錯

檔案以block的方式,多副本儲存在集群的節點上,保證硬體的容錯,當某一機器損壞時,不至於資料丟失

2)處理流式的資料訪問

流式:一次寫入,多次讀取的操作

3)適合儲存大檔案

4)可構建在廉價的機器上

缺點:

1)低延遲的資料訪問

資料大,想在秒級別做資料的檢索不現實

2)小檔案索引

不管資料在1m還是127m,都應該對應元資料存放在namenode上,如果小檔案很多,也就意味著所占用的記憶體資訊也越大,那麼對於hdfs的namenode的壓力也就越大

HDFS的優缺點

優點 1 適合儲存超大檔案 儲存級別基本都是gb甚至tb以上。2 伺服器廉價 3 流式資料訪問 一次寫入後,多次讀取,當資料作為分析物件後,以後的讀取時間比第一次讀取少很多時間。缺點 1 實時的資料訪問弱 由於儲存量大,所以讀取資料慢。2 大量小檔案 因為namenode把檔案系統的元資料放置在記憶...

HDFS的優缺點

hdfs的優點 1 海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均衡到新的節點上...

HDFS概述及HDFS優缺點

隨著資料量越來越大,在乙個作業系統上儲存不了所有的資料,那麼就分配到更多的作業系統管理的磁碟中,但是不方便管理和維護,迫切需要一種系統來管理多台機器上的檔案,這就是分布式檔案管理系統。hdfs只是分布式檔案管理系統的一種 hdfs hadoop distributed file system 它是乙...