優點:一、高可靠性:hadoop一般都在成千的計算機集群之上,且可以搭建hadoop的高可靠集群,及內部容錯功能優秀。
二、高擴充套件性:hadoop是在可用的計算機集簇間分配資料並完成計算任務的,這些集簇可以方便地擴充套件到數以千計的節點中。
三、高效性:hadoop能夠在節點之間動態地移動資料,並保證各個節點的動態平衡,因此處理速度非常快。
四、高容錯性:hadoop能夠自動儲存資料的多個副本,並且能夠自動將失敗的任務重新分配。
缺點:一、不適合低延遲資料訪問
二、無法高效儲存大量小檔案
三、不支援多使用者寫入及任意修改檔案
hdfs三個服務
1.namenode (metadata 元資料)
2.secondary namenode
3.datanode
區分兩個概念:
hdfs架構
namenode
datanode
hdfs檔案許可權
Hadoop基礎 HDFS結構
1 簡述hdfs的特點以及優點缺點。hdfs的優點 1 支援超大檔案的儲存 2 支援流式檔案訪問。3 執行於廉價的商用機器集群。hdfs的缺點 1 不適合低延遲資料訪問 2 無法高效儲存大量小檔案 3 不支援多使用者寫入及任意修改檔案。2 簡述namenode,datanode,secondary ...
Hadoop學習(二) HDFS介紹
隨著資料量越來越大,在乙個作業系統存不下所有的資料,那麼就分配到更多的作業系統管理的磁碟中,但是不方便管理和維護,迫切需要一種系統來管理多台機器上的檔案,這就是分布式檔案管理系統。hdfs只是分布式檔案管理系統中的一種。hadoop分布式檔案系統,主要用來解決海量資料的儲存問題 它是乙個檔案系統,用...
hadoop學習筆記(二) HDFS
定義 hdfs hadoop distributed file system 它是乙個檔案系統,用於儲存檔案,通過目錄樹來定位檔案,它是分布式的,由很多伺服器聯合起來實現其功能。場景 適合一次寫入,多次讀出的場景,且不支援檔案的修改,適合用來做資料分析,不適合做網盤應用。優點 1.高容錯性 資料儲存...