storm流式計算之集群安裝

2021-07-23 19:07:02 字數 1716 閱讀 5391

2.假設你的集群有hadoop01,hadoop02,hadoop03三個節點,首先在hadoop01中解壓安裝包。命令如下:

tar -zxvf apache-storm-0.9.5.tar.gz -c /servers/storm

3.修改配置檔案

vi /servers/storm/conf/storm.yaml

用下面內容去覆蓋你的配置檔案storm.yaml #

指定storm

使用的zk

集群storm.zookeeper.servers:

- "hadoop01"

- "hadoop02"

- "hadoop03"#指定

storm

集群中的

nimbus

節點所在的伺服器

nimbus.host:"hadoop01"#指定

nimbus

啟動jvm

最大可用記憶體大小

nimbus.childopts:"-xmx1024m"#指定

supervisor

啟動jvm

最大可用記憶體大小

supervisor.childopts:"-xmx1024m"#指定

supervisor

節點上,每個

worker

啟動jvm

最大可用記憶體大小

worker.childopts:"-xmx768m"#指定

ui啟動

jvm最大可用記憶體大小,

ui服務一般與

nimbus

同在乙個節點上。

ui.childopts:"-xmx768m"#指定

supervisor

節點上,啟動

worker

時對應的埠號,每個埠對應槽,每個槽位對應乙個

worker

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

注意:其中hadoop01,hadoop02,hadoop03為你的zookeeper所在的主機名,

hadoop01又是你的storm nimbus所在的主機名,

上述幾個機器名在配置檔案中要對齊。下面的4個埠在配置檔案中也要對齊

4.分發安裝包,將配置好的storm從hadoop01遠端複製到hadoop02和hadoop03

scp -r /servers/storm hadoop02:/servers

scp -r /servers/storm hadoop03:/servers

5.啟動集群

(1)在nimbus.host 所屬的機器上啟動 nimbus服務

cd /servers/storm/bin/

nohup ./storm nimbus &

(2)在nimbus.host 所屬的機器上啟動 ui 服務

cd /servers/storm/bin/

nohup ./storm ui &

(3) 在其它各個節點上啟動 supervisor 服務

cd /servers/storm/bin/

nohup ./storm supervisor &

6.檢視集群狀態

訪問 hadoop01:/8080,即可看到storm的ui介面。

注意這個8080不是tomcat的服務埠,此時不需要開啟tomcat伺服器。

Storm流式計算

下面以水廠加工的例子進行講解。人們要想喝到自來水。1 是不是需要水幫浦在水源地進行抽水 2 將抽到的水放到蓄水池裡作進一步的處理。第乙個蓄水池的實現的功能就是做沉澱。第二個蓄水池的功能就是過濾。第三個蓄水池的功能就是消毒。之後產生蓄水。3 要想上面的過程完美的進行,是不是需要乙個中控室,來告訴這些水...

Storm流式計算小結 集群故障恢復

storm由twitter開源,是乙個分布式 容錯的實時計算系統,基本由clojure寫的,但幾乎可以使用任何語言編寫應用程式,每秒可處理數以百萬計的訊息。離線計算 資料批量獲取 傳輸 週期性批量計算 展示 流式計算 資料實時產生 傳輸 計算 展示 流式計算就是實時將源源不斷的資料收集並計算,盡可能...

流式計算storm介紹

流式計算是什麼 流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存 mysql 一句話總結 將源源不斷產生的資料實時收集並實時計算,盡可能快的得到...