nimbus： 主控節點
用於接收，提交任務，來分配集群任務，集群的監控
zookeeper：儲存storm集群的資料儲存、心跳、集群狀態
nimbus任務分配到supervisor
分組策略
1）fields grouping 按照字段分組，相同字段傳送到同乙個task中
2）shuffle grouping
隨機分組 輪詢分組、隨機分發tuple，保證每個bolt中的tuple數量相同
3）non grouping
不分組，不關心誰收到tuple，每個bolt接受的額單詞不同
4）all grouping 廣播分組
一塊塊的接受傳送
5）global grouping
全域性分組，乙個執行緒，全部給task id最小的，根據執行緒id判斷，之分給執行緒id最小的
本地模式
localcluster
集群模式
stormsubmitter
兩種實現方式
介面：irichspout irichbolt
抽象類：baserichspout baserichbolt
storm核心元件
nimbus 負責資源分配和任務排程。supervisor 負責接受nimbus分配的任務，啟動和停止屬於自己管理的worker程序。通過配置檔案設定當前 supervisor 上啟動多少個 worker worker 執行具體處理元件邏輯的程序。worker執行的任務型別只有兩種，一種是spout...
Storm介紹及核心元件和程式設計模型
離線計算 離線計算 批量獲取資料 批量傳輸資料 週期性批量計算資料 資料展示 代表技術 sqoop批量匯入資料 hdfs 批量儲存資料 mapreduce 批量計算資料 hive 批量計算資料 azkaban oozie 任務排程 流式計算 流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展...
Storm核心元件 程式設計模型
storm簡介 storm是用來做實時計算的框架，所以介紹storm之前需要知道什麼是流式計算。流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存...