新增到白名單的主機節點,都允許訪問namenode,不在白名單的主機節點,都會被退出。
配置白名單的具體步驟如下:
(1)在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立
dfs.hosts檔案
[tom@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[tom@hadoop102 hadoop]$ touch dfs.hosts
[tom@hadoop102 hadoop]$ vi dfs.hosts
新增如下主機名稱(不新增
hadoop105)
hadoop102
hadoop103
hadoop104
(2)在namenode的hdfs-site.xml配置檔案中增加dfs.hosts屬性
dfs.hosts
/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts
(3)配置檔案分發
[tom@hadoop102 hadoop]$ xsync hdfs-site.xml
(4)重新整理namenode
[tom@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshnodes
refresh nodes successful
(5)更新resourcemanager節點
[tom@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshnodes
17/06/24 14:17:11 info client.rmproxy: connecting to resourcemanager at hadoop103/192.168.1.103:8033
(6)在web瀏覽器上檢視
4. 如果資料不均衡,可以用命令實現集群的再平衡
[tom@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
time stamp iteration# bytes already moved bytes left to move bytes being moved
在黑名單上面的主機都會被強制退出。
1.在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立dfs.hosts.exclude檔案
[tom@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[tom@hadoop102 hadoop]$ touch dfs.hosts.exclude
[tom@hadoop102 hadoop]$ vi dfs.hosts.exclude
新增如下主機名稱(要退役的節點)
hadoop105
2.在namenode的hdfs-site.xml配置檔案中增加dfs.hosts.exclude屬性
dfs.hosts.exclude
/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude
3.重新整理namenode、重新整理resourcemanager
[tom@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshnodes
refresh nodes successful
[tom@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshnodes
17/06/24 14:55:56 info client.rmproxy: connecting to resourcemanager at hadoop103/192.168.1.103:8033
4. 檢查web瀏覽器,退役節點的狀態為decommission in progress(退役中),說明資料節點正在複製塊到其他節點,如圖3-17所示
5.等待退役節點狀態為decommissioned(所有塊已經複製完成),停止該節點及節點資源管理器。注意:如果副本數是3,服役的節點小於等於3,是不能退役成功的,需要修改副本數後才能退役,如圖3-18所示
[tom@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[tom@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager
6. 如果資料不均衡,可以用命令實現集群的再平衡
[tom@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
time stamp iteration# bytes already moved bytes left to move bytes being moved
注意:不允許白名單和黑名單中同時出現同乙個主機名稱。
退役舊資料節點
新增到白名單的主機節點,都允許訪問namenode,不在白名單的主機節點,都會被退出。配置白名單的具體步驟如下 1 在namenode的 opt module hadoop 2.7.2 etc hadoop目錄下建立dfs.hosts檔案 hadoop hadoop102 hadoop pwd op...
退役舊資料節點 白名單退役
1.新增白名單 新增到白名單的主機節點,都允許訪問 namenode,不在白名單的主機節點,都會被退出。配置白名單的具體步驟如下 1 在 namenode 的 opt module hadoop 2.7.2 etc hadoop 目錄下建立 dfs.hosts 檔案 hadoop hadoop102...
退役舊資料節點 黑名單退役
在黑名單上面的主機都會被強制退出。1.在 namenode 的 opt module hadoop 2.7.2 etc hadoop 目 錄下建立dfs.hosts.exclude 檔案 hadoop hadoop102 hadoop pwd opt module hadoop 2.7.2 etc ...