datanode程序死亡或者網路故障造成datanode無法與namenode通訊,namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。
hdfs預設的超時時長為10分鐘+30秒。如果定義超時時間為timeout,則超時時長的計算公式為:
timeout = 2 * heartbeat.recheck.interval + 10 *dfs.heartbeat.interval。
而預設的heartbeat.recheck.interval 大小為5分鐘,dfs.heartbeat.interval預設為3秒。
需要注意的是hdfs-site.xml 配置檔案中的
heartbeat.recheck.interval的單位為毫秒,
dfs.heartbeat.interval的單位為秒。
所以,舉個例子,如果heartbeat.recheck.interval設定為5000(毫秒),dfs.heartbeat.interval設定為3(秒,預設),則總的超時時間為40秒。
hdfs-site.xml中的引數設定格式:
heartbeat.recheck.interval
2000
dfs.heartbeat.interval
1
hadoop的datanode無法啟動
這一周在centos裡安裝了偽分布式的hadoop做測試,但沒想到的是按網上的步驟配置後datanode節點怎麼也沒辦法啟動。後來通過分析啟動日誌後發現fs.data.dir引數設定的目錄許可權必需為755,要不啟動datanode節點啟動就會因為許可權檢測錯誤而自動關閉。提示資訊如下 arn or...
Hadoop的datanode無法啟動
hadoop 的datanode 無法啟動 hdfs site 中配置的dfs.data.dir 為 usr local hadoop hdfs data 用bin hadoop start all.sh 啟動hdoop 用jps 命令檢視守護程序時,沒有datanode 訪問http localh...
Hadoop入門 初識DataNode
hdfs架構 namenode datanode secondary namenode datanode 提供真實的檔案資料儲存服務 檔案塊 block 檔案塊是最基本的儲存單位,在datanode中,檔案被分為檔案塊,預設為三個,hdfs預設乙個block大小是128m,通過dfs.block.s...