退役舊資料節點

2021-10-09 06:09:24 字數 3786 閱讀 9057

新增到白名單的主機節點，都允許訪問namenode，不在白名單的主機節點，都會被退出。

配置白名單的具體步驟如下：

（1）在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立dfs.hosts檔案

[hadoop@hadoop102 hadoop]$ pwd


/opt/module/hadoop-


2.7.2


/etc/hadoop


[atghadoopigu@hadoop102 hadoop]$ touch dfs.hosts


[hadoop@hadoop102 hadoop]$ vi dfs.hosts
新增如下主機名稱（不新增hadoop105）

192.168


.88.102


192.168


.88.103


192.168


.88.104
（2）在namenode的hdfs-site.xml配置檔案中增加dfs.hosts屬性

dfs.hosts<


/name>


/opt/module/hadoop-


2.7.2


/etc/hadoop/dfs.hosts<


/value>


<


/property>
（3）配置檔案分發

[hadoop@hadoop102 hadoop]$ xsync hdfs-site.xml
（4）重新整理namenode

[hadoop@hadoop102 hadoop-


2.7.2


]$ hdfs dfsadmin -refreshnodes
refresh nodes successful

（5）更新resourcemanager節點
[hadoop@hadoop102 hadoop-


2.7.2


]$ yarn rmadmin -refreshnodes17/


06/2414:17


:11 info client.rmproxy: connecting to resourcemanager at hadoop103/


192.168


.1.103


:8033
（6）在web瀏覽器上檢視

4. 如果資料不均衡，可以用命令實現集群的再平衡

[hadoop@hadoop102 sbin]$ .


/start-balancer.sh


starting balancer, logging to /opt/module/hadoop-


2.7.2


/logs/hadoop-atguigu-balancer-hadoop102.out


time stamp               iteration#  bytes already moved  bytes left to move  bytes being moved
在黑名單上面的主機都會被強制退出。

1.在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立dfs.hosts.exclude檔案

[hadoop@hadoop102 hadoop]$ pwd


/opt/module/hadoop-


2.7.2


/etc/hadoop


[hadoop@hadoop102 hadoop]$ touch dfs.hosts.exclude


[hadoop@hadoop102 hadoop]$ vi dfs.hosts.exclude
新增如下主機名稱（要退役的節點）

192.168


.88.105
2．在namenode的hdfs-site.xml配置檔案中增加dfs.hosts.exclude屬性

dfs.hosts.exclude<


/name>


/opt/module/hadoop-


2.7.2


/etc/hadoop/dfs.hosts.exclude<


/value>


<


/property>
3．重新整理namenode、重新整理resourcemanager

[hadoop@hadoop102 hadoop-


2.7.2


]$ hdfs dfsadmin -refreshnodes


refresh nodes successful


[hadoop@hadoop102 hadoop-


2.7.2


]$ yarn rmadmin -refreshnodes17/


06/2414:55


:56 info client.rmproxy: connecting to resourcemanager at hadoop103/


192.168


.1.103


:8033


檢查web瀏覽器，退役節點的狀態為decommission in progress（退役中），說明資料節點正在複製塊到其他節點，如圖所示
圖 退役中

等待退役節點狀態為decommissioned（所有塊已經複製完成），停止該節點及節點資源管理器。注意：如果副本數是3，服役的節點小於等於3，是不能退役成功的，需要修改副本數後才能退役，如圖所示

.

[hadoop@hadoop105 hadoop-


2.7.2


]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode

[hadoop@hadoop105 hadoop-


2.7.2


]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

如果資料不均衡，可以用命令實現集群的再平衡

[hadoop@hadoop102 hadoop-


2.7.2


]$ sbin/start-balancer.sh 


starting balancer, logging to /opt/module/hadoop-


2.7.2


/logs/hadoop-atguigu-balancer-hadoop102.out


time stamp               iteration#  bytes already moved  bytes left to move  bytes being moved
注意：不允許白名單和黑名單中同時出現同乙個主機名稱。幾百本常用電子書免費領取：

DataNode退役舊資料節點

新增到白名單的主機節點，都允許訪問namenode，不在白名單的主機節點，都會被退出。配置白名單的具體步驟如下 1 在namenode的 opt module hadoop 2.7.2 etc hadoop目錄下建立 dfs.hosts檔案 tom hadoop102 hadoop pwd opt ...

退役舊資料節點 白名單退役

1.新增白名單 新增到白名單的主機節點，都允許訪問 namenode，不在白名單的主機節點，都會被退出。配置白名單的具體步驟如下 1 在 namenode 的 opt module hadoop 2.7.2 etc hadoop 目錄下建立 dfs.hosts 檔案 hadoop hadoop102...

退役舊資料節點 黑名單退役

在黑名單上面的主機都會被強制退出。1.在 namenode 的 opt module hadoop 2.7.2 etc hadoop 目 錄下建立dfs.hosts.exclude 檔案 hadoop hadoop102 hadoop pwd opt module hadoop 2.7.2 etc ...