組成:
topology是storm裡的最高抽象概念,相當於hadoop裡的mapreduce,
topology(流轉換圖)由spouts和bolts組成。
spout建立stream,stream由無限的tuple(元組)構成。
bolts接收spout流出的tuple並進行處理,處理後生成的新的tuple可以流向下乙個bolt,
也可以直接結束。
架構:
使用者提交topology到
storm上後會由master上執行的nimbus進行任務排程和監控,nimbus將分配的任務儲存到
zookeeper裡,supervisor負責監聽任務,會從zookeeper中獲取到分配的
任務,獲取到任務後worker上的task負責任務的具體執行。
可參考:
阿里jstorm中文文件
Storm篇 Storm基礎概念
一 前述 storm是個實時的 分布式以及具備高容錯的計算系統,storm程序常駐記憶體,storm資料不經過磁碟,在記憶體中處理。二 相關概念 1.非同步 流式處理 非同步 客戶端提交資料進行結算,並不會等待資料計算結果。2.同步 實時請求應答服務 同步 客戶端提交資料請求之後,立刻取得計算結果並...
Storm 核心概念
核心概念 topologies 拓撲,將整個流程串起來 計算拓撲,由spout和bolt組成 類似於mr作業 mr最終要完成,topology會一直執行除非自己殺死 對應的資源 topologybuilder running topologies on a production cluster lo...
storm基礎概念
以官網的結構圖為例子 storm用來幹什麼這裡就不說了,主要說下storm的一些基礎知識。官宣連線 原文翻譯 其實官方文件已經介紹的非常詳細了,這裡只是對某些比較晦澀的地方進行一些說明。storm 系統中包含以下幾個基本概念 拓撲 topologies 流 streams 資料來源 spouts 資...