storm是乙個分布式是實時計算系統,它設計了一種對流和計算的抽象,概念比較簡單,實際程式設計開發起來相對容易。
storm中最核心的計算元件的抽象就是spout、bolt,以及stream grouping。
名詞含義拓展
topology
拓撲圖類似於hadoop中的mapreduce job,是乙個用來編排、容納一組計算邏輯元件(spout、bolt)的物件(hadoop mapreduce中乙個job包含一組map task、reduce task)
spout
噴泉,噴口
乙個topology的訊息生產的源頭,spout應該是乙個持續不斷生產訊息的元件
bolt
插銷,螺栓,篩選
storm中訊息的處理邏輯被封裝到bolt元件中,任何處理邏輯都可以在bolt裡面執行,處理過程和普通計算應用程式沒什麼區別,只是需要根據storm的計算語義來合理設定一下元件之間訊息流的宣告、分發、連線即可。
stream grouping
分組關係
定義各個計算元件(spout、bolt)之間流的連線、分組、分發關係。
Spark Streaming實時計算框架介紹
隨著大資料的發展,人們對大資料的處理要求也越來越高,原有的批處理框架mapreduce適合離線計算,卻無法滿足實時性要求較高的業務,如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架,通過它提供的豐富的api 基於記憶體的高速執行引擎,使用者可以結合流式 ...
Spark Streaming實時計算框架介紹
隨著大資料的發展,人們對大資料的處理要求也越來越高,原有的批處理框架mapreduce適合離線計算,卻無法滿足實時性要求較高的業務,如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架,通過它提供的豐富的api 基於記憶體的高速執行引擎,使用者可以結合流式 ...
FW 分布式實時計算storm 原理
fw 分布式實時計算storm 原理簡介及單機版安裝指南 3 下面是以本地模式執行exclamationtopology的 1config conf newconfig 2conf.setdebug true 3conf.setnumworkers 2 4 5localcluster cluster...