原文:
啟動storm的所有後台程序。和zookeeper一樣,storm也是快速失敗(fail-fast)的系統,這樣storm才能在 任意時刻被停止,並且當程序重啟後被正確地恢復執行。這也是為什麼storm不在程序內儲存狀態的原因,即使nimbus或supervisors被重 啟,執行中的topologies不會受到影響。
以下是啟動storm各個後台程序的方式:
nimbus: 在storm主控節點上執行」bin/storm nimbus >/dev/null 2>&1 &」啟動nimbus後台程式,並放到後台執行;
supervisor: 在storm各個工作節點上執行」bin/storm supervisor >/dev/null 2>&1 &」啟動supervisor後台程式,並放到後台執行;
ui: 在storm主控節點上執行」bin/storm ui >/dev/null 2>&1 &」啟動ui後台程式,並放到後台執行,啟動後可以通過http://:8080觀察集群的worker資源使用情況、topologies的執行狀態等資訊。
注意事項:
啟動storm後台程序時,需要對conf/storm.yaml配置檔案中設定的storm.local.dir目錄具有寫許可權。
storm後台程序被啟動後,將在storm安裝部署目錄下的logs/子目錄下生成各個程序的日誌檔案。
經測試,storm ui必須和storm nimbus部署在同一臺機器上,否則ui無法正常工作,因為ui程序會檢查本機是否存在nimbus鏈結。
為了方便使用,可以將bin/storm加入到系統環境變數中。
至此,storm集群已經部署、配置完畢,可以向集群提交拓撲執行了。
向集群提交任務
1. 啟動storm topology:
storm jar allmycode.jar org.me.mytopology arg1 arg2 arg3
其中,allmycode.jar是包含topology實現**的jar包,org.me.mytopology的main方法是topology的入口,arg1、arg2和arg3為org.me.mytopology執行時需要傳入的引數。
2. 停止storm topology:
storm kill
其中,為topology提交到storm集群時指定的topology任務名稱。
啟動storm各個後台程序
加上nohup命令即可!
Storm集群部署
storm集群部署 1 所有的集群上都要配置hosts vi etc hosts 192.168.33.201 storm1 hadoop1 zk1 192.168.33.202 storm2 hadoop2 zk2 192.168.33.203 storm3 hadoop3 zk3 2 集群部署的...
Storm集群部署
storm是乙個分布式實時計算系統,storm對於實時計算的意義就相當於hadoop對於批量計算的意義。對於實時性較高的系統storm是不錯的選擇。hadoop提供了map,reduce原語,使批處理程式變得非常地簡單和優美。同樣,storm也為實時計算提供了一些簡單優美的原語。涉及的術語說明 ni...
Storm 二 Storm集群部署
集群部署的基本流程 集群部署的基礎環境準備 storm集群部署 storm集群的常用操作命令 storm集群的程序及日誌檢視 注意 所有的集群上都需要配置hosts vi etc hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 ...