學習Storm實時計算框架

2021-09-19 11:23:31 字數 590 閱讀 3522

storm是乙個分布式是實時計算系統,它設計了一種對流和計算的抽象,概念比較簡單,實際程式設計開發起來相對容易。

storm中最核心的計算元件的抽象就是spout、bolt,以及stream grouping。

名詞

含義拓展

topology

拓撲圖類似於hadoop中的mapreduce job,是乙個用來編排、容納一組計算邏輯元件(spout、bolt)的物件(hadoop mapreduce中乙個job包含一組map task、reduce task)

spout

噴泉,噴口

乙個topology的訊息生產的源頭,spout應該是乙個持續不斷生產訊息的元件

bolt

插銷,螺栓,篩選

storm中訊息的處理邏輯被封裝到bolt元件中,任何處理邏輯都可以在bolt裡面執行,處理過程和普通計算應用程式沒什麼區別,只是需要根據storm的計算語義來合理設定一下元件之間訊息流的宣告、分發、連線即可。

stream grouping

分組關係

定義各個計算元件(spout、bolt)之間流的連線、分組、分發關係。

Spark Streaming實時計算框架介紹

隨著大資料的發展,人們對大資料的處理要求也越來越高,原有的批處理框架mapreduce適合離線計算,卻無法滿足實時性要求較高的業務,如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架,通過它提供的豐富的api 基於記憶體的高速執行引擎,使用者可以結合流式 ...

Spark Streaming實時計算框架介紹

隨著大資料的發展,人們對大資料的處理要求也越來越高,原有的批處理框架mapreduce適合離線計算,卻無法滿足實時性要求較高的業務,如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架,通過它提供的豐富的api 基於記憶體的高速執行引擎,使用者可以結合流式 ...

FW 分布式實時計算storm 原理

fw 分布式實時計算storm 原理簡介及單機版安裝指南 3 下面是以本地模式執行exclamationtopology的 1config conf newconfig 2conf.setdebug true 3conf.setnumworkers 2 4 5localcluster cluster...