集群部署的基本流程
集群部署的基礎環境準備
storm集群部署
storm集群的常用操作命令
storm集群的程序及日誌檢視
注意：所有的集群上都需要配置hosts
vi
/etc/hosts
192.168.239.128 storm01 zk01 hadoop01
192.168.239.129 storm02 zk02 hadoop02
192.168.239.130 storm03 zk03 hadoop03
安裝前的準備工作（zk集群已經部署完畢）
chkconfig iptables off && setenforce 0
groupadd realtime && useradd realtime && usermod -a -g realtime realtime
mkdir /export
mkdir /export/servers
chmod 755 -r /export
su realtime
wget
tar -zxvf apache-storm-0.9.5.tar.gz -c /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.5 storm
mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak
vi /export/servers/storm/conf/storm.yaml
輸入以下內容
然後分別在各機器上建立軟連線
cd /export/servers/
ln -s apache-storm-0.9.5 storm
cd /export/servers/storm/bin/
nohup ./storm nimbus &
cd /export/servers/storm/bin/
nohup ./storm ui &
cd /export/servers/storm/bin/
nohup ./storm supervisor &
訪問nimbus.host:/8080，即可看到storm的ui介面。
有許多簡單且有用的命令可以用來管理拓撲，它們可以提交、殺死、禁用、再平衡拓撲。
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.wordcounttopology wordcount
storm kill topology-name -w 10
storm deactivte topology-name
我們能夠掛起或停用執行中的拓撲。當停用拓撲時，所有已分發的元組都會得到處理，但是spouts的nexttuple方法不會被呼叫。銷毀乙個拓撲，可以使用kill命令。它會以一種安全的方式銷毀乙個拓撲，首先停用拓撲，在等待拓撲訊息的時間段內允許拓撲完成當前的資料流。
storm activate topology-name
storm rebalance topology-name
再平衡使你重分配集群任務。這是個很強大的命令。比如，你向乙個執行中的集群增加了節點。再平衡命令將會停用拓撲，然後在相應超時時間之後重分配工人，並重啟拓撲。
依次啟動集群的各種角色
在nimbus的伺服器上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/nimbus.log
在ui的伺服器上，一般和nimbus乙個伺服器
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/ui.log
在supervisor服務上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/supervisor.log
在supervisor服務上
Storm集群部署
storm集群部署 1 所有的集群上都要配置hosts vi etc hosts 192.168.33.201 storm1 hadoop1 zk1 192.168.33.202 storm2 hadoop2 zk2 192.168.33.203 storm3 hadoop3 zk3 2 集群部署的...
Storm集群部署
storm是乙個分布式實時計算系統，storm對於實時計算的意義就相當於hadoop對於批量計算的意義。對於實時性較高的系統storm是不錯的選擇。hadoop提供了map,reduce原語，使批處理程式變得非常地簡單和優美。同樣，storm也為實時計算提供了一些簡單優美的原語。涉及的術語說明 ni...
Storm集群安裝與部署
1 三颱虛擬機器 192.168.1.128 nimbus 192.168.1.131 supervisor 192.168.1.132 supervisor 2 jdk1.8 3 zookeeper3.4.10 4 storm 1.1.1 1 配置storm ps 三颱機器的配置都是這樣的 sto...