1、新增主機對映 vim /etc/hosts,這裡是node4
192.168.88.135 master0
192.168.88.136 master1
192.168.88.137 node1
192.168.88.139 node2
192.168.88.138 node3
192.168.88.145 node4
2、更改主機名為node4
vim /etc/sysconfig/network
networking=yes
hostname=node4
3、配置靜態ip,然後重啟reboot
vim /etc/sysconfig/network-scripts/ifcfg-eth0
vim /etc/udev/rules.d/70-persistent-net.rules
device=eth0
type=ethernet
uuid=27b5d0ea-0df8-4909-a0f6-5e405f2ab682
onboot=yes
nm_controlled=yes
bootproto=none
hwaddr=00:0c:29:bb:d0:e2
defroute=yes
peerdns=yes
peerroutes=yes
ipv4_failure_fatal=yes
ipv6init=no
name="system eth0"
last_connect=1546164677
ipaddr=192.168.88.145
gateway=192.168.88.1
broadcast=255.255.255.0
4、ssh免密登入ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub wangfei@master0
各個節點需要配置hosts,需要公匙互相傳送
5、防火牆
6、刪除/tmp,hadoop下的 hdfs/data logs tmp pids 等
啟動datanode
./hadoop-daemon.sh start datanode
啟動yarn
./yarn-daemon.sh start nodemanager
7、停止
hadoop-daemon.sh stop datanode
./yarn-daemon.sh stop nodemanager
1、在etc/hadoop下建立dfs.hosts
把允許的datanode都新增進去
2、在hdfs-site.xml中天劍dfs.hosts屬性
dfs.hosts
/usr/local/hadoop-2.6.0/etc/hadoop/dfs.hosts
3、分發4、重新整理namenodehdfs dfsadmin -refreshnodes
重新整理rm節點
yarn rmadmin -refreshnodes
如果是對namenode做過ha,則需要在主備namenode上執行:
hdfs dfsadmin -fs hdfs://tkbd -refreshsuperusergroupsconfiguration
5.集群負載均衡
在master主機上面,執行start-balancer.sh進行資料負載均衡。目的是將其他節點的資料分擔一些到新節點上來,看集群原來資料的多少需要一定的時間才能完成。
hadoop balancer
或者bin/start-balancer.sh
負載均衡作用:當節點出現敀障,或新增加節點時,資料塊可能分布不均勻,負載均衡可重新平衡各個datanode上資料塊的分布,使得所有的節點資料和負載能處於乙個相對平均的狀態,從而避免由於新節點的加入而效率降低(如果不進行balance,新資料一般會被插入到新節點中)
在黑名單上的節點會被強制退出
退役舊節點
1、在etc/hadoop下建立dfs.hosts.exclude檔案
2、在hdfs-site.xml新增屬性
dfs.hosts.exclude
/usr/local/hadoop-2.6.0/etc/hadoop/dfs.hosts.exclude
3、分發 ,重新整理nn rm4、退役的時候把自己的資料同步到其他節點,資料越多,退役時間越慢5、最後單節點退出,停掉datanode,nodemanager6、等集群重啟的時候,就消失
nn dn多目錄配置,**
設定Azure WebSite黑白名單
azure website服務預設是不提供黑白名單,也就是說任何internet使用者都可以訪問azure website,那麼我們如何來給我們的 設定黑白名單?這裡有一種方式,可以通過配置 的配置檔案 web.config 來設定訪問的黑白名單。1 通過vs新建乙個asp.net mvc專案 上圖...
Linux設定ssh黑 白名單
在考試rhce的時候,有這麼一道題目,使用者能夠從 內的客戶端ssh遠端訪問你的伺服器,在 內的客戶端不能訪問你的服務。有人說可以用防火牆來設定,不錯!是可以。但是,如果你仔細檢查的話會發現,rhce考試的試卷往往防火牆只有乙個區域,trusted,在設定時候也不會報錯,當你查的時候發現沒有bloc...
nginx設定目錄白名單 ip白名單
1.設定目錄白名單 對指定請求路徑不設定限制,如對請求路徑為api目錄下的請求不做限制,則可寫為 limit conn conn 20 limit rate 500k 因nginx會優先進行精準匹配,所以以上寫法即接觸了對api目錄下屬路徑的限制 2.設定ip白名單,需用到nginx geo 與 n...