storm核心元件

2021-08-19 20:37:06 字數 465 閱讀 9009

nimbus:負責資源分配和任務排程。

supervisor:負責接受nimbus分配的任務,啟動和停止屬於自己管理的worker程序。---

通過配置檔案設定當前

supervisor

上啟動多少個

worker

。worker:執行具體處理元件邏輯的程序。worker執行的任務型別只有兩種,一種是spout任務,一種是bolt任務。

task:worker中每乙個spout/bolt的執行緒稱為乙個task. 在storm0.8之後,task不再與物理執行緒對應,不同spout/bolt的task可能會共享乙個物理執行緒,該執行緒稱為executor。

spout元件的併發度為4.

bolt元件的併發度為8.

Storm核心元件介紹

nimbus 主控節點 用於接收,提交任務,來分配集群任務,集群的監控 zookeeper 儲存storm集群的資料儲存 心跳 集群狀態 nimbus任務分配到supervisor 分組策略 1 fields grouping 按照字段分組,相同字段傳送到同乙個task中 2 shuffle gro...

Storm核心元件 程式設計模型

storm簡介 storm是用來做實時計算的框架,所以介紹storm之前需要知道什麼是流式計算。流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存...

Storm介紹及核心元件和程式設計模型

離線計算 離線計算 批量獲取資料 批量傳輸資料 週期性批量計算資料 資料展示 代表技術 sqoop批量匯入資料 hdfs 批量儲存資料 mapreduce 批量計算資料 hive 批量計算資料 azkaban oozie 任務排程 流式計算 流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展...