1 Storm集群安裝

2021-10-02 15:02:51 字數 1616 閱讀 1158

export path=$path:$storm_home/bin

zookeeper安裝見部落格中關於zookeeper內容

mkdir status

storm.zookeeper.servers:

- "ip101"

- "ip102"

- "ip103"

nimbus.host: "ip101"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

引數解釋

1）storm.zookeeper.servers: storm集群使用的zookeeper集群位址。

2）storm.local.dir: nimbus和supervisor程序用於儲存少量狀態，如jars、confs等的本地磁碟目錄，需要提前建立該目錄並給以足夠的訪問許可權。

然後在storm.yaml中配置該目錄。

啟動storm

1）在storm主控節點上執行：

#標準輸出 /dev/null       2>&1 錯誤輸出->標準輸出 


#storm nimbus會有兩個輸出，乙個標準輸出，乙個錯誤輸出 


#2>&1的作用是將 2即錯誤輸出 的內容重定向到&1即標準輸出中，然後》/dev/null是將兩者的結果輸入到/dev/null中，相當於拋棄掉。


#至於最後乙個&，因為storm會一直執行，不會自動停掉，頁面上就會不停的有內容。


#&的作用就是將storm拿到後台執行。   


storm nimbus >/dev/null 2>&1 &
2）在storm主控節點上執行：

storm ui >/dev/null 2>&1 &
3）在storm工作節點上執行：

storm supervisor >/dev/null 2>&1 &
第三步執行後，可以通過http://:8080觀察集群的worker資源使用情況、topologies的執行狀態等資訊。

1）列出storm topology：

storm list
2) 停止storm topology：

storm kill
3) 提交storm topology：

storm jar mycode.jar storm.mytopology arg1 arg2 ...


mycode.jar：包含topology實現**的jar包


storm.mytopology：main方法的入口，即main方法所在類名


arg1、arg2等為main方法引數

				
1 Storm集群安裝
export path path storm home bin zookeeper安裝見部落格中關於zookeeper內容 mkdir status storm.zookeeper.servers ip101 ip102 ip103 nimbus.host ip101 supervisor.slot...

				
1 ，storm 框架介紹
批處理 一批資料一起，走一波 例如 mr 實時處理 不停走，來乙個資料，走一波 例如 storm storm 是個實時的 分布式以及具備高容錯的計算系統 storm 程序常駐記憶體 storm 資料不經過磁碟，在記憶體中處理 nimbus 主節點程序，老闆 supervisor 分節點守護程序，分店...

				
Storm集群安裝
storm集群的安裝分為以下幾步 storm發行版本解壓目錄下有乙個conf storm.yaml檔案，用於配置storm。預設配置在這裡可以檢視。conf storm.yaml中的配置選項將覆蓋defaults.yaml中的預設配置。以下配置選項是必須在conf storm.yaml中進行配置的 ...