Hadoop集群批量命令執行

2022-05-01 04:03:05 字數 610 閱讀 7017

./pdsh -r ssh -w node-10-0[0-5] hostname

-r:指定傳輸方式,預設為rsh,本例為ssh,如果希望ssh傳輸需要另行安裝pdsh-rcmd-ssh,如果希望ssh無密碼訪問需要提前配置好。

-w:指定待執行命令host,也可以這樣配置,node_[1-9, 35,22]

command:本例為hostname

sudo /etc/init.d/hadoop-0.20-namenode start

sudo /etc/init.d/hadoop-0.20-jobtracker start

/usr/bin/pdsh -r ssh -w chn-dg-3-5i[3,4,8,9] "sudo /etc/init.d/hadoop-0.20-datanode start"

/usr/bin/pdsh -r ssh -w chn-dg-3-5i[3,4,8,9] "sudo /etc/init.d/hadoop-0.20-tasktracker start"

模版:/usr/bin/pdsh -r ssh -w node-10-0[0-5] 後面緊跟命令即可

/usr/bin/pdsh -r ssh -w node-10-0[0-5]

批量部署Hadoop集群環境(1)

問題 看到hadoop部署在一些資料上很是繁瑣,一些簡單的部署方法只是玩具,無法滿足企業的部署條件,如果一台臺伺服器去部署,顯然是不可行。解決 在學習及其他資料後,準備以 apache hadoop yarn moving beyond mapreduce and batch processing ...

Redis批量執行命令

只需要兩步驟!建議直接找台linux伺服器,使用linux自帶的文字編輯,避免window linux換行符不一致,還需要做換行的轉換。新建命令文件 vim batch.txt batch.txt中輸入批量命令 lpush batch queue 1 lpush batch queue 2 lpus...

hadoop集群管理之統一執行

hadoop集群ssh打通之後,再進行一些統一的指令碼執行等等操作時,可以通過指令碼的方式進行,例如 全集群檢視程序,統一分發配置檔案等等。通過ssh linux指令碼,在namenode上就可以完成對整個集群的管理,這種方法也大大節省了集群的管理效率。指令碼內容 if lt2 then echo ...