tar -xzvf apache-storm
-0.9
.6.tar.gz
-0.9
.6 /usr/local/storm
export storm_home=/usr/local/storm
export path=$path:$storm_home/bin
source /etc/profile
storm_home/conf/storm.yaml
#指定storm使用的zookeeper集群
storm.zookeeper.servers:
- "node01"
- "node02"
- "node03"
# 指定nimbus所在節點
nimbus.host:
"node01"
#指定nimbus jvm的最大可用記憶體
nimbus.childopts:
"-xmx100m"
#指定supervisor啟動jvm最大可用記憶體大小
supervisor.childopts:
"-xmx100m"
#指定supervisor節點上，每個worker啟動jvm最大可用記憶體大小
worker.childopts:
"-xmx50m"
#指定ui啟動jvm最大可用記憶體大小，ui服務一般與nimbus同在乙個節點上
ui.childopts:
"-xmx100m"
#指定supervisor節點上，啟動worker時對應的埠號，每個埠對應槽，每個槽位對應乙個worker
supervisor.slots.ports:
- 16700
- 16701
- 16702
- 16703
scp -r storm/ hadoop@node02
scp -r storm/ hadoop@node03
配置node02及node03的軟連線及環境變數，步驟如上。
在nimbus節點啟動nimbus
>nohup storm nimbus &
在nimbus節點啟動ui
>nohup storm ui &
在另外兩個supervisor節點啟動supervisor
ui所在節點
安裝成功。
大資料架構之 Storm
storm是乙個免費開源 分布式 高容錯的實時計算系統，twitter開發貢獻給社群的。storm令持續不斷的流計算變得容易，彌補了hadoop批處理所不能滿足的實時要求。特點 1 storm這是乙個分布式的 容錯的實時計算系統 2 storm集群主要由乙個主節點 master node 和一組工作...
大資料學習 Storm集群搭建
安裝storm之前要安裝zookeeper 一.安裝storm步驟 2.解壓安裝包 3.修改配置檔案 修改環境變數 etc profile export path bin path 指定storm使用的zk集群 storm.zookeeper.servers mini1 mini2 mini3 指定...
大資料流式計算 storm 基礎
一 目標 二 storm是什麼？開源的 分布式 流式計算系統 三 分布式起源 四 批量計算與流式計算的對比 流式計算 批量計算的api 推特的summing bird 谷歌的clouddataflow，介面均開源。五 storm元件 主從結構 簡單 高效，但主節點存在單點問題 對稱結構 複雜 效率較...