動態增加DataNode

2021-09-19 10:12:51 字數 810 閱讀 2260

一、動態增加datanode

1、準備新的datanode節點機器,配置ssh互信,可以直接複製已有datanode中.ssh目錄中的authorized_keys和id_rsa

2、複製hadoop執行目錄、hdfs目錄及tmp目錄至新的datanode

3、在新datanode上啟動hadoop

..sbin/hadoop-daemon.sh start datanode

..sbin/yarn-daemon.sh start datanode

4、在namenode上重新整理節點

..bin/hdfs dfsadmin -refreshnodes

..sbin/start-balancer.sh

5、為方便下次啟動,可以將新datanode的網域名稱和ip加入/etc/hosts中

二、動態刪除datanode

1、配置namenode的hdfs-site.xml,適當減小dfs.replication副本數,增加dfs.hosts.exclude配置

dfs.hosts.exclude

/usr/local/hadoop2/etc/hadoop/excludes

2、在對應路徑(/etc/hadoop/)下新建excludes檔案,並寫入待刪除datanode的ip或網域名稱

3、在namenode上重新整理所有datanode

..bin/hdfs dfsadmin -refreshnodes

..sbin/start-balancer.sh

4、此時,可以在web檢測介面(ip:50070)上可以觀測到datanode逐漸變為dead。

hadoop 重啟datanode及動態加入節點

align center color red b hadoop2.2.0啟動子節點 b color align 適用於子節點單獨掛掉然後重啟的情況,或者增加子節點的情況。設定好相應的配置後 sbin hadoop daemon.sh start datanode sbin yarn daemon.s...

動態增加Swap

臨時增加swap空間的。方法如下 step 1 dd if dev zero of home swap bs 1024 count 500000 注釋 of home swap,放置swap的空間 count的大小就是增加的swap空間的大小,1024就是塊大小,這裡是1k,所以總共空間就是bs c...

GridView動態增加列

需求背景 繫結列數量不穩定,可能會發生變化 或者需要允許使用者自己定義顯示列 解決方案 gridview 動態增加列,使用itemplate 介面實現itemtemplate 1.通過實現itemplate介面的instantiatein方法,定義自己希望的列展示內容。並且定義嵌入內容的databi...