2.假設你的集群有hadoop01,hadoop02,hadoop03三個節點,首先在hadoop01中解壓安裝包。命令如下:
tar -zxvf apache-storm-0.9.5.tar.gz -c /servers/storm
3.修改配置檔案
vi /servers/storm/conf/storm.yaml
用下面內容去覆蓋你的配置檔案storm.yaml #
指定storm
使用的zk
集群storm.zookeeper.servers:
- "hadoop01"
- "hadoop02"
- "hadoop03"#指定
storm
集群中的
nimbus
節點所在的伺服器
nimbus.host:"hadoop01"#指定
nimbus
啟動jvm
最大可用記憶體大小
nimbus.childopts:"-xmx1024m"#指定
supervisor
啟動jvm
最大可用記憶體大小
supervisor.childopts:"-xmx1024m"#指定
supervisor
節點上,每個
worker
啟動jvm
最大可用記憶體大小
worker.childopts:"-xmx768m"#指定
ui啟動
jvm最大可用記憶體大小,
ui服務一般與
nimbus
同在乙個節點上。
ui.childopts:"-xmx768m"#指定
supervisor
節點上,啟動
worker
時對應的埠號,每個埠對應槽,每個槽位對應乙個
worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
注意:其中hadoop01,hadoop02,hadoop03為你的zookeeper所在的主機名,
hadoop01又是你的storm nimbus所在的主機名,
上述幾個機器名在配置檔案中要對齊。下面的4個埠在配置檔案中也要對齊
4.分發安裝包,將配置好的storm從hadoop01遠端複製到hadoop02和hadoop03
scp -r /servers/storm hadoop02:/servers
scp -r /servers/storm hadoop03:/servers
5.啟動集群
(1)在nimbus.host 所屬的機器上啟動 nimbus服務
cd /servers/storm/bin/
nohup ./storm nimbus &
(2)在nimbus.host 所屬的機器上啟動 ui 服務
cd /servers/storm/bin/
nohup ./storm ui &
(3) 在其它各個節點上啟動 supervisor 服務
cd /servers/storm/bin/
nohup ./storm supervisor &
6.檢視集群狀態
訪問 hadoop01:/8080,即可看到storm的ui介面。
注意這個8080不是tomcat的服務埠,此時不需要開啟tomcat伺服器。
Storm流式計算
下面以水廠加工的例子進行講解。人們要想喝到自來水。1 是不是需要水幫浦在水源地進行抽水 2 將抽到的水放到蓄水池裡作進一步的處理。第乙個蓄水池的實現的功能就是做沉澱。第二個蓄水池的功能就是過濾。第三個蓄水池的功能就是消毒。之後產生蓄水。3 要想上面的過程完美的進行,是不是需要乙個中控室,來告訴這些水...
Storm流式計算小結 集群故障恢復
storm由twitter開源,是乙個分布式 容錯的實時計算系統,基本由clojure寫的,但幾乎可以使用任何語言編寫應用程式,每秒可處理數以百萬計的訊息。離線計算 資料批量獲取 傳輸 週期性批量計算 展示 流式計算 資料實時產生 傳輸 計算 展示 流式計算就是實時將源源不斷的資料收集並計算,盡可能...
流式計算storm介紹
流式計算是什麼 流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存 mysql 一句話總結 將源源不斷產生的資料實時收集並實時計算,盡可能快的得到...