0.需求
隨著公司業務的增長,資料量越來越大,原有的資料節點的容量已經不能滿足儲存資料的需求,需要在原有集群基礎上動態新增新的資料節點。
1.環境準備
(1)在 hadoop104 主機上再轉殖一台 hadoop105 主機
(2)修改 ip 位址和主機名稱
(3)刪除原來 hdfs 檔案系統留存的檔案(/opt/module/hadoop-2.7.2/data 和 log) (4)source 一下配置檔案
[hadoop@hadoop105 hadoop-2.7.2]$ source /etc/profile
服役新節點具體步驟
(1)直接啟動 datanode,即可關聯到集群
[hadoop@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start
datanode
[hadoop@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start
nodemanager
(2)在 hadoop105 上上傳檔案
[hadoop@hadoop105 hadoop-2.7.2]$ hadoop fs -put
/opt/module/hadoop-2.7.2/license.txt /
(3)如果資料不均衡,可以用命令實現集群的再平衡
[hadoop@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-
2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
time stamp iteration# bytes already moved bytes
left to move bytes being moved
服役新資料節點
隨著公司業務的增長,資料量越來越大,原有的資料節點的容量已經不能滿足儲存資料的需求,需要在原有集群基礎上動態新增新的資料節點。1.環境準備 1 在轉殖一台hadoop105主機 2 修改ip位址和主機名稱 3 刪除原來hdfs檔案系統留存的檔案 opt module hadoop 2.7.2 dat...
HDFS DateNoda 服役 新節點
1 轉殖機器 轉殖 wt3 獲取 wt5 2 修改ip和hostname 3 新增hosts 所有節點 可以用scp 4 刪除 data 和 logs 5 source一下配置檔案 簡單 source etc profile 6 配置ssh 目的 wt3 和 wt5 無密登入 a wt3和wt5執行...
Hadoop集群服役新節點
修改ip和主機名稱 增加新節點的ssh免密登陸 刪除原來 hdfs 檔案系統留存的檔案 opt module hadoop 2.7.6 data刪除原來 hdfs 檔案系統留存的檔案 opt module hadoop 2.7.6 data 在namenode的etc hadoop下新增 dfs.h...