1、適用範圍
(1)、適用於一次寫入，多次讀取的大檔案儲存方案
(2)、不適用於低延遲的需求方案，可以考慮hbase
(3)、不適用於海量小檔案儲存（metadata會膨脹）
2、兩個角色
(1)、namenode，主要管理檔案目錄樹，檔案元資料，並知曉乙個檔案的block都在哪些datanode上
(2)、datanode，定期向namenode匯報儲存的block資訊
3、block概念
(1)、hdfs中的block為64mb
(2)、檔案可以按block劃分，儲存於集群中
(3)、block便於讀取資料，減少seek次數
(4)、有利於資料的拷貝，提高穩定性
4、namenode的容災問題
(1)、備份namenode資料，分本地備份和nfs備份
(2)、第二個namenode，定期合併主namenode的namspaceimage
(3)、定期重啟
(4)、熱備用的namenode，它和主namenode共享share edit log，而且所有datanode同時向兩個namenode匯報block資訊
5、多namenode並存
(1)、通過命名空間劃分，每個namenode管理各自的卷(volume)
Hadoop筆記六之Hdfs的基本shell操作
使用hfds dfs 和hadoop fs來操作檔案這兩者一樣，命令格式為hadoop fs ls dfhs shb01 9000 也可以使用hadoop fs ls 表示當前根目錄和dfhs shb01 9000 一樣。hdfs是hadoop本身的協議，hdfs本身沒有許可權它借用的是linux許...
hadoop基本知識點之HDFS
1.hadoop組成 hadoop主要由三大模組組成 1.1 hdfs 儲存模組 1.2.yarn 資源調配模組 引擎 分布式資源管理框架 1.3.mapreduce 計算引擎 2.hdfs儲存模型 3.hdfs架構模型 4.1 基於記憶體儲存 4.2 namenode主要功能 接受客戶端的讀寫要求...
hadoop之HDFS的擴充
最近在vm中進行擴容之後考慮，openstack的容量新增，隨之想起hdfs的容量擴充的問題，從網上查詢資料之後，現總結如下 首先在伺服器上大都使用的linux的系統，實驗上大都採用的是centos開源的專案。在linux中新增硬碟時，需要考慮的是容量，但是隨著硬體資源的擴充套件現在磁碟的容量可鞥會...