1 Storm集群安裝

2022-06-12 08:18:14 字數 1808 閱讀 7079

export path=$path:$storm_home/bin

zookeeper安裝見部落格中關於zookeeper內容

mkdir status

storm.zookeeper.servers:

- "ip101"

- "ip102"

- "ip103"

nimbus.host: "ip101"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

引數解釋

1)storm.zookeeper.servers: storm集群使用的zookeeper集群位址。

2)storm.local.dir: nimbus和supervisor程序用於儲存少量狀態,如jars、confs等的本地磁碟目錄,需要提前建立該目錄並給以足夠的訪問許可權。

然後在storm.yaml中配置該目錄。

supervisor.slots.ports: 對於每個supervisor工作節點,需要配置該工作節點可以執行的worker數量。

每個worker占用乙個單獨的埠用於接收訊息,該配置選項即用於定義哪些埠是可被worker使用的。

預設情況下,每個節點上可執行4個workers,分別在6700、6701、6702和6703埠。

啟動storm

1)在storm主控節點上執行:

#標準輸出 /dev/null       2>&1 錯誤輸出->標準輸出 

#storm nimbus會有兩個輸出,乙個標準輸出,乙個錯誤輸出 

#2>&1的作用是將 2即錯誤輸出 的內容重定向到&1即標準輸出中,然後》/dev/null是將兩者的結果輸入到/dev/null中,相當於拋棄掉。

#至於最後乙個&,因為storm會一直執行,不會自動停掉,頁面上就會不停的有內容。

#&的作用就是將storm拿到後台執行。   

storm nimbus >/dev/null 2>&1 &

2)在storm主控節點上執行:

storm ui >/dev/null 2>&1 &
3)在storm工作節點上執行:

storm supervisor >/dev/null 2>&1 &
第三步執行後,可以通過http://:8080觀察集群的worker資源使用情況、topologies的執行狀態等資訊。

1)列出storm topology:

storm list
停止storm topology:

storm kill
提交storm topology:

storm jar mycode.jar storm.mytopology arg1 arg2 ...

mycode.jar:包含topology實現**的jar包

storm.mytopology:main方法的入口,即main方法所在類名

arg1、arg2等為main方法引數

1 Storm集群安裝

export path path storm home bin zookeeper安裝見部落格中關於zookeeper內容 mkdir status storm.zookeeper.servers ip101 ip102 ip103 nimbus.host ip101 supervisor.slot...

1 ,storm 框架介紹

批處理 一批資料一起,走一波 例如 mr 實時處理 不停走,來乙個資料,走一波 例如 storm storm 是個實時的 分布式以及具備高容錯的計算系統 storm 程序常駐記憶體 storm 資料不經過磁碟,在記憶體中處理 nimbus 主節點程序,老闆 supervisor 分節點守護程序,分店...

Storm集群安裝

storm集群的安裝分為以下幾步 storm發行版本解壓目錄下有乙個conf storm.yaml檔案,用於配置storm。預設配置在這裡可以檢視。conf storm.yaml中的配置選項將覆蓋defaults.yaml中的預設配置。以下配置選項是必須在conf storm.yaml中進行配置的 ...