hadoop基礎二 HDFS的特點 三個服務 架構

2021-10-03 02:24:16 字數 555 閱讀 3151

優點:一、高可靠性:hadoop一般都在成千的計算機集群之上,且可以搭建hadoop的高可靠集群,及內部容錯功能優秀。

二、高擴充套件性:hadoop是在可用的計算機集簇間分配資料並完成計算任務的,這些集簇可以方便地擴充套件到數以千計的節點中。

三、高效性:hadoop能夠在節點之間動態地移動資料,並保證各個節點的動態平衡,因此處理速度非常快。

四、高容錯性:hadoop能夠自動儲存資料的多個副本,並且能夠自動將失敗的任務重新分配。

缺點:一、不適合低延遲資料訪問

二、無法高效儲存大量小檔案

三、不支援多使用者寫入及任意修改檔案

hdfs三個服務

1.namenode (metadata 元資料)

2.secondary namenode

3.datanode

區分兩個概念:

hdfs架構

namenode

datanode

hdfs檔案許可權

Hadoop基礎 HDFS結構

1 簡述hdfs的特點以及優點缺點。hdfs的優點 1 支援超大檔案的儲存 2 支援流式檔案訪問。3 執行於廉價的商用機器集群。hdfs的缺點 1 不適合低延遲資料訪問 2 無法高效儲存大量小檔案 3 不支援多使用者寫入及任意修改檔案。2 簡述namenode,datanode,secondary ...

Hadoop學習(二) HDFS介紹

隨著資料量越來越大,在乙個作業系統存不下所有的資料,那麼就分配到更多的作業系統管理的磁碟中,但是不方便管理和維護,迫切需要一種系統來管理多台機器上的檔案,這就是分布式檔案管理系統。hdfs只是分布式檔案管理系統中的一種。hadoop分布式檔案系統,主要用來解決海量資料的儲存問題 它是乙個檔案系統,用...

hadoop學習筆記(二) HDFS

定義 hdfs hadoop distributed file system 它是乙個檔案系統,用於儲存檔案,通過目錄樹來定位檔案,它是分布式的,由很多伺服器聯合起來實現其功能。場景 適合一次寫入,多次讀出的場景,且不支援檔案的修改,適合用來做資料分析,不適合做網盤應用。優點 1.高容錯性 資料儲存...