export path=$path:$storm_home/bin
zookeeper安裝見部落格中關於zookeeper內容
mkdir status
storm.zookeeper.servers:
- "ip101"
- "ip102"
- "ip103"
nimbus.host: "ip101"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
引數解釋
1)storm.zookeeper.servers: storm集群使用的zookeeper集群位址。
2)storm.local.dir: nimbus和supervisor程序用於儲存少量狀態,如jars、confs等的本地磁碟目錄,需要提前建立該目錄並給以足夠的訪問許可權。
然後在storm.yaml中配置該目錄。
supervisor.slots.ports: 對於每個supervisor工作節點,需要配置該工作節點可以執行的worker數量。
每個worker占用乙個單獨的埠用於接收訊息,該配置選項即用於定義哪些埠是可被worker使用的。
預設情況下,每個節點上可執行4個workers,分別在6700、6701、6702和6703埠。
啟動storm
1)在storm主控節點上執行:
#標準輸出 /dev/null 2>&1 錯誤輸出->標準輸出
#storm nimbus會有兩個輸出,乙個標準輸出,乙個錯誤輸出
#2>&1的作用是將 2即錯誤輸出 的內容重定向到&1即標準輸出中,然後》/dev/null是將兩者的結果輸入到/dev/null中,相當於拋棄掉。
#至於最後乙個&,因為storm會一直執行,不會自動停掉,頁面上就會不停的有內容。
#&的作用就是將storm拿到後台執行。
storm nimbus >/dev/null 2>&1 &
2)在storm主控節點上執行:
storm ui >/dev/null 2>&1 &
3)在storm工作節點上執行:
storm supervisor >/dev/null 2>&1 &
第三步執行後,可以通過http://:8080觀察集群的worker資源使用情況、topologies的執行狀態等資訊。
1)列出storm topology:
storm list
停止storm topology:
storm kill
提交storm topology:
storm jar mycode.jar storm.mytopology arg1 arg2 ...
mycode.jar:包含topology實現**的jar包
storm.mytopology:main方法的入口,即main方法所在類名
arg1、arg2等為main方法引數
1 Storm集群安裝
export path path storm home bin zookeeper安裝見部落格中關於zookeeper內容 mkdir status storm.zookeeper.servers ip101 ip102 ip103 nimbus.host ip101 supervisor.slot...
1 ,storm 框架介紹
批處理 一批資料一起,走一波 例如 mr 實時處理 不停走,來乙個資料,走一波 例如 storm storm 是個實時的 分布式以及具備高容錯的計算系統 storm 程序常駐記憶體 storm 資料不經過磁碟,在記憶體中處理 nimbus 主節點程序,老闆 supervisor 分節點守護程序,分店...
Storm集群安裝
storm集群的安裝分為以下幾步 storm發行版本解壓目錄下有乙個conf storm.yaml檔案,用於配置storm。預設配置在這裡可以檢視。conf storm.yaml中的配置選項將覆蓋defaults.yaml中的預設配置。以下配置選項是必須在conf storm.yaml中進行配置的 ...