datanode工作職責：
1儲存管理使用者的檔案塊資料
2定期向namenode匯報自身所持有的block資訊（通過心跳資訊上報，這點很重要，因為，當集群中發生某些block副本失效時，集群如何恢復block初始副本數量的問題）
dfs.blockreport.intervalmsec
3600000
determines block reporting interval in milliseconds.
掉線判斷時限引數
datanode程序死亡或者網路故障造成datanode無法與namenode通訊，namenode不會立即把該節點判定為死亡，要經過一段時間，這段時間暫稱作超時時長。hdfs預設的超時時長為10分鐘+30秒。如果定義超時時間為timeout，則超時時長的計算公式為：
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
而預設的heartbeat.recheck.interval 大小為5分鐘，dfs.heartbeat.interval預設為3秒。
需要注意的是hdfs-site.xml 配置檔案中的heartbeat.recheck.interval的單位為毫秒，dfs.heartbeat.interval的單位為秒。所以，舉個例子，如果heartbeat.recheck.interval設定為5000（毫秒），dfs.heartbeat.interval設定為3（秒，預設），則總的超時時間為40秒。
heartbeat.recheck.interval
2000
dfs.heartbeat.interval
1
上傳乙個檔案，觀察檔案的block具體的物理存放情況：
在每一台datanode機器上的這個目錄中能找到檔案的切塊：
/home/hadoop/tmp/dfs/data/current/bp-193442119-192.168.2.120-1432457733977/current/finalized
Hadoop入門 初識DataNode
hdfs架構 namenode datanode secondary namenode datanode 提供真實的檔案資料儲存服務 檔案塊 block 檔案塊是最基本的儲存單位，在datanode中，檔案被分為檔案塊，預設為三個，hdfs預設乙個block大小是128m，通過dfs.block.s...
Hadoop無法啟動DataNode
問題詳述 當我多次通過以下指令格式化namenode之後，格式化namenode bin hdfs namenode format導致我在jps查詢時發現datanode無法啟動 問題原因 多次進行namenode格式化，導致 namenode 和 datanode 的集群 id 不匹配 datan...
Hadoop中datanode無法啟動
1.環境描述 虛擬機器10，centos6.4，偽分布式安裝hadoop。2.問題描述 出現datanode無法啟動。3.錯誤一 指定的檔案目錄許可權不符 檢視 datanode 啟動日誌 cat home hadoop hadoop 0.20.203.0 logs hadoop hadoop da...