大資料 hdfs 掉線時限的引數設定 詳解

2021-09-29 09:22:59 字數 583 閱讀 9764

datanode程序死亡或者網路故障造成datanode無法與namenode通訊,namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。hdfs預設的超時時長為10分鐘+30秒。如果定義超時時間為timeout,則超時時長的計算公式為:

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

而預設的dfs.namenode.heartbeat.recheck-interval大小為5分鐘,dfs.heartbeat.interval預設為3秒

需要注意的是hdfs-site.xml配置檔案中的heartbeat.recheck.interval的單位為毫秒,dfs.heartbeat.interval的單位為秒

``

``dfs.namenode.heartbeat.recheck-interval``

``300000``

````

``dfs.heartbeat.interval ``

``3``

``

黑猴子的家 DataNode之掉線時限引數設定

datanode程序死亡或者網路故障造成datanode無法與namenode通訊,namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。hdfs預設的超時時長為10分鐘 30秒。如果定義超時時間為timeout,則超時時長的計算公式為 timeout 2 dfs.na...

大資料基礎運維 HDFS引數調優

1.namenode資料目錄 dfs.name.dir,dfs.namenode.name.dir 指定乙個本地檔案系統路徑,決定nn在何處存放fsimage和editlog檔案。可以通過逗號分隔指定多個路徑.目前我們的產線環境只配置了乙個目錄,並存放在了做了raid1或raid5的磁碟上。2.da...

大資料入門 HDFS的特性

目標 掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均...