hadoop縮容datanode後warn解決辦法

2021-09-27 10:01:45 字數 664 閱讀 2737

修改namenode節點的hdfs-site.xml（master主機）

dfs.hosts.exclude


file_path
我在縮容hadoop的datanode之後一直報警告failed to place enough replicas，這個看上去明顯就是由於副本不夠報錯，但是不明白為什麼會副本不夠，他驗證的時候為什麼不同步。

下面重新執行指定副本數

hdfs dfs -setrep -w 2 -r /
然後根據檔案大小等待很長時間之後再進行檢視，就不報錯了，然後繼續操作,用fsck檢查是否缺少資料塊

hadoop fsck /


hdfs dfsadmin -refreshnodes
重新整理hdfs節點（namenode active操作）

hdfs dfsadmin -refreshnodes 


hdfs dfsadmin -report   ##觀察節點是否decommission
重新整理nodemanager節點（resourcemanager active操作）

yarn rmadmin -refreshnodes

open falcon graph擴容 縮容

方案原理 從修改transfer開始，流量會按新的雜湊規則進入到原始集群和擴容集群 此時擴容集 現，migrate開關是開啟狀態 於是，擴容集群接收到流量之後，並沒有很著急的去落盤，而是先按照舊的雜湊規則從原始集群拉取歷史資料 本質上就是乙個rrd檔案 拉取成功則將整個rrd檔案寫入本地，若拉取超時...

ArrayList的縮容簡介

program description author xiao create 2020 5 15 12 05 am public class arraylisttrimdemo 然後又新增了99個元素 list.add i 所以，這裡是99 10 109 printarraylistrealsize...

es動態平滑縮容

例如要下線節點 10.10.10.3 步驟1 將節點從集群路由策略中排除 curl xput d 步驟2 等待節點上分片全部被遷移確認該機器沒有分片之後才是真正遷移走了 檢查集群狀態，若出現pening tasks，當pending tasks的等級 high時，存在集群無法新建索引的風險 curl...