Storm概念理解

2022-03-14 06:45:33 字數 468 閱讀 1408

組成:

topology是storm裡的最高抽象概念,相當於hadoop裡的mapreduce,

topology(流轉換圖)由spouts和bolts組成。

spout建立stream,stream由無限的tuple(元組)構成。

bolts接收spout流出的tuple並進行處理,處理後生成的新的tuple可以流向下乙個bolt,

也可以直接結束。

架構:

使用者提交topology到

storm上後會由master上執行的nimbus進行任務排程和監控,nimbus將分配的任務儲存到

zookeeper裡,supervisor負責監聽任務,會從zookeeper中獲取到分配的

任務,獲取到任務後worker上的task負責任務的具體執行。

可參考:

阿里jstorm中文文件

Storm篇 Storm基礎概念

一 前述 storm是個實時的 分布式以及具備高容錯的計算系統,storm程序常駐記憶體,storm資料不經過磁碟,在記憶體中處理。二 相關概念 1.非同步 流式處理 非同步 客戶端提交資料進行結算,並不會等待資料計算結果。2.同步 實時請求應答服務 同步 客戶端提交資料請求之後,立刻取得計算結果並...

Storm 核心概念

核心概念 topologies 拓撲,將整個流程串起來 計算拓撲,由spout和bolt組成 類似於mr作業 mr最終要完成,topology會一直執行除非自己殺死 對應的資源 topologybuilder running topologies on a production cluster lo...

storm基礎概念

以官網的結構圖為例子 storm用來幹什麼這裡就不說了,主要說下storm的一些基礎知識。官宣連線 原文翻譯 其實官方文件已經介紹的非常詳細了,這裡只是對某些比較晦澀的地方進行一些說明。storm 系統中包含以下幾個基本概念 拓撲 topologies 流 streams 資料來源 spouts 資...