修改ip和主機名稱
增加新節點的ssh免密登陸
刪除原來
hdfs
檔案系統留存的檔案/opt/module/hadoop-2.7.6/data刪除原來
hdfs
檔案系統留存的檔案
/opt/module/hadoop-2.7.6/data
在namenode的etc/hadoop下新增 dfs.hosts檔案
vim dfs.hosts
新增如下主機名稱（包含新服役的節點）
hadoop101
hadoop102
hadoop103
hadoop104
在namenode的hdfs-site.xml檔案新增
dfs.hosts
/opt/module/hadoop-2.7.2/
etc/
hadoop
/dfs.hosts
重新整理namenode節點
hdfs dfsadmin -refreshnodes
重新整理resourcemanager節點
yarn rmadmin -refreshnodes
單獨啟動新節點上的datanode和nodemanager程序
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
在web ui上進行檢視
使用start-balancer.sh使得集群進行平衡
服役新資料節點
隨著公司業務的增長，資料量越來越大，原有的資料節點的容量已經不能滿足儲存資料的需求，需要在原有集群基礎上動態新增新的資料節點。1.環境準備 1 在轉殖一台hadoop105主機 2 修改ip位址和主機名稱 3 刪除原來hdfs檔案系統留存的檔案 opt module hadoop 2.7.2 dat...
服役新資料節點
0.需求 隨著公司業務的增長，資料量越來越大，原有的資料節點的容量已經不能滿足儲存資料的需求，需要在原有集群基礎上動態新增新的資料節點。1.環境準備 1 在 hadoop104 主機上再轉殖一台 hadoop105 主機 2 修改 ip 位址和主機名稱 3 刪除原來 hdfs 檔案系統留存的檔案 o...
HDFS DateNoda 服役 新節點
1 轉殖機器 轉殖 wt3 獲取 wt5 2 修改ip和hostname 3 新增hosts 所有節點 可以用scp 4 刪除 data 和 logs 5 source一下配置檔案 簡單 source etc profile 6 配置ssh 目的 wt3 和 wt5 無密登入 a wt3和wt5執行...