NameNode節點的增添或刪減

2021-10-01 16:21:01 字數 1664 閱讀 9316

namenode的增添:

直接關聯到集群(前提是複製過來的hadoop框架裡原來的hdfs系統存留檔案已經刪除,並且環境已配置好)

[......]$ source /etc/profile

[......]$ sbin/hadoop-daemon.sh start

[......]$ sbin/yarn-daemon.sh start nodemanager

刪減節點:有兩種方法,一種是新增白名單,一種是新增黑名單。

在白名單上的主機才能與namenode通訊,在黑名單上的主機會被強制退出期群

配置白名單的具體步驟如下:

(1)在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立

dfs.hosts檔案

[......]$ vi dfs.hosts

新增需要用的主機ip(需要刪減的節點不要寫到檔案中)

(2)在namenode的hdfs-site.xml配置檔案中增加dfs.hosts屬性

dfs.hosts

/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts

(3)配置檔案分發(同步集群配置)

[.....]$ xsync hdfs-site.xml

(4)重新整理namenode

[.....]$ hdfs dfsadmin -refreshnodes

refresh nodes successful

(5)更新resourcemanager節點

[.....]$ yarn rmadmin -refreshnodes

(6)在web瀏覽器上檢視

配置黑名單的步驟如下:

1.在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立dfs.hosts.exclude檔案

[.....]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[.....]$ touch dfs.hosts.exclude

[.....]$ vi dfs.hosts.exclude

在檔案中新增需要刪減的主機ip(要刪減的節點)

2.在namenode的hdfs-site.xml配置檔案中增加dfs.hosts.exclude屬性

dfs.hosts.exclude

/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude

3.同步配置檔案

4.重新整理namenode、重新整理resourcemanager

[.....]$ hdfs dfsadmin -refreshnodes

refresh nodes successful

[.....]$ yarn rmadmin -refreshnodes

5.  檢查web瀏覽器,退役節點的狀態為decommission in progress(刪減中),說明資料節點正在複製塊到其他節點

等待要刪減節點狀態為decommissioned(所有塊已經複製完成),停止該節點及節點資源管理器。注意:如果副本數是3,刪減過後的存活的節點小於等於3,是不能刪減成功的,需要修改副本數後才能刪減。

NameNode節點的公升級 回滾 提交

我記得在前面已經以regular方式為例詳細的講述了有關namenode啟動的過程,在開始本文的重點之前,我覺得還是有必要在簡單的描述一下這個過程 好了,再回到本文將要闡述的重點吧 namenode節點的公升級 回滾 提交,這一步實際上只發生在上面過程的第一步 載入fsimage editlog。前...

Namenode節點的部署及雜碎的命令

namenode節點的部署 部署zookeeper之後的細節 分別部署hdfs site.xml和core site.xml檔案 然後將node1中配置好的部署好的文件分別分發給其他的node節點,命令為 scp hdfs site.xml core site.xml 192.168.198.22 ...

找到二叉樹的後繼節點(或前驅節點)

找到二叉樹的前驅節點 在二叉樹的中序遍歷中,乙個節點的後繼結點就是他的下乙個節點 想要找到任意乙個節點的後繼結點,二叉樹的節點型別node需要包含父節點的資訊 節點 struct node include include 節點 struct node void insert tree node ro...