2、修改conf目錄下的storm.yaml配置檔案
#注意,storm對配置檔案的格式校驗非常嚴格,以下配置項,每行前要有乙個空格,-和:後都要有空格
#zookeeper位址,
storm.zookeeper.servers:
- "xx.xx.xx.xx"
storm.zookeeper.port: 2181
storm.zookeeper.root: "/storm"
#主節點伺服器位址,建議使用網域名稱,多個ip以逗號分隔 nimbus.seeds: ["host1", "host2", "host3"]
nimbus.seeds: ["xx.xx.xx.xx"]
#資料儲存目錄
storm.local.dir: "/home/storm/nimbus/stormdata"
#對於每個工作者計算機,您可以使用此配置配置在該計算機上執行的工作程式數。每個工作程式使用單個埠接收訊息,此設定定義哪些埠可以使用。
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm集群其他從節點的配置同上,主節點和從節點是由啟動命令來區分
3、啟動集群
主節點:nohup ./bin/storm nimbus > ./nimbus.out 2>&1 &
主節點ui:nohup ./bin/storm ui > ./ui.out 2>&1 &
從節點: nohup ./bin/storm supervisor > ./supervisor.out 2>&1 &
啟動日誌分別在上述的nimbus.out、ui.out、supervisor.out檔案檢視,啟動後的執行日誌在logs目錄。
5、常用storm 命令
提交topology程式:./bin/storm jar 包名 啟動類路徑 main方法引數
列出當前執行topology列表: ./bin/storm list
停止topology :./bin/storm kill topology名稱
topology執行日誌,在supervisor 服務下的/logs/workers-artifacts目錄下
Storm 1 2 1 集群環境搭建
1,storm基礎介紹 storm作為大資料處理框架之一,其和spark一樣具有非常廣泛的使用,如下為storm的架構圖 在了解集群配置安裝之前需要掌握如下幾個概念 concept 拓撲 topologies 類似hadoop的mapreduce 的任務 job 區別在於 mapreduce 的乙個...
Storm1 0 3集群部署
storm集群部署 1 所有的集群上都要配置hosts vi etc hosts 192.168.33.201 storm1 hadoop1 zk1 192.168.33.202 storm2 hadoop2 zk2 192.168.33.203 storm3 hadoop3 zk3 2 集群部署的...
Storm1 0 集群部署(HA)
zookeeper集群部署 storm ha集群規劃 nimbus 192.168.175.141 active 192.168.175.142 supervisor 192.168.175.141,192.168.175.142,192.168.175.143 1.0 2.tar.gz mv ap...