namenode預設大小1000m
namenode守護程序作用:
維護hdfs集群元資料的映象檔案[fsimage],【fsimage】包括:檔案屬性資訊,檔案與block塊的對應關係
維護客戶端對hdfs的相關操作,並記錄[edits_log]
接收所有來自datanode的心跳匯報,內容:block塊的資訊與所屬節點位置
datanode守護程序作用:
datanode負責實時監控當前節點的執行狀態
datanode以block塊的形式進行儲存
datanode要響應客戶端的請求
【定期合併fsimage檔案和edits_log檔案,保證集群的可靠性】
secondarynamenode守護作用:【解決hdfs的可靠性】
可靠性:
作用:監控並分配集群全域性資源,包括:cpu、記憶體、磁碟和網路。
通過心跳機制獲取每個nodemanager節點的資源資料以及運**況。
作用:管理並監控當前節點(自己)的資源使用情況。
通過心跳機制向resourcemanager進行匯報,匯報內容:cpu、記憶體、磁碟和網路。
使用者執行啟動task任務(maptask和reducetask)。
【隨應用的開啟而開啟,生命週期同應用】
方式一:start-dfs.sh + start-yarn.sh
start-yarn.sh會開啟如下執行緒:【只能在主節點執行該命令,從節點執行resourcemanager無法開啟】
start-yarn.sh會開啟如下執行緒:【只能在主節點執行該命令,從節點執行resourcemanager無法開啟】
方式二:
hadoop-daemon.sh start namenode +hadoop-daemon.sh start datanode +
hadoop-daemon.sh start secondarynamenode +
start-yarn.sh
hadoop-daemon.sh start datanode
【通常採用方式二開啟守護程序】
從節點:
HDFS體系結構
1 什麼是分布式檔案系統?於是有了分布式檔案系統,分布式檔案系統允許檔案通過網路在多台主機上分享檔案,可以讓多機器上的使用者分享檔案和儲存空間,讓使用者感覺像是在訪問一台機器。hdfs是分布式檔案系統的一種,不適合小檔案,適用於一次寫多次讀的情況,不支援併發寫。那麼元資訊存在哪呢?在hadoop t...
CPU各種體系結構
本貼 http hi.baidu.com shentuhongfeng blog item 2d9bb01fdd4fedf9e0fe0b8d.html cpu體系結構的選定也決定了其他硬體的選擇。不同的cpu需要不同的主機板,主機板決定了所能選擇的儲存器和您要使用的插卡 plug in card 1...
HDFS的體系結構和操作
hdfs fs 常用命令 1.對hdfs操作的命令格式是hadoop fs 1.1 ls 表示對hdfs下一級目錄的檢視 hadoop fs ls hdfs chaoren 9000 對hdfs的根目錄進行檢視 linux下 ls path 這個可以使用more core site.xml進行檢視,...