JStorm 是乙個分布式實時計算引擎

2022-02-09 01:12:48 字數 559 閱讀 7608

jstorm 是乙個類似hadoop mapreduce的系統, 使用者按照指定的介面實現乙個任務,然後將這個任務遞交給jstorm系統,jstorm將這個任務跑起來,並且按7 * 24小時執行起來,一旦中間乙個worker 發生意外故障, 排程器立即分配乙個新的worker替換這個失效的worker。

因此,從應用的角度,jstorm 應用是一種遵守某種程式設計規範的分布式應用。從系統角度, jstorm一套類似mapreduce的排程系統。 從資料的角度, 是一套基於流水線的訊息處理機制。

實時計算現在是大資料領域中最火爆的乙個方向,因為人們對資料的要求越來越高,實時性要求也越來越快,傳統的hadoop map reduce,逐漸滿足不了需求,因此在這個領域需求不斷。

在storm和jstorm出現以前,市面上出現很多實時計算引擎,但自storm和jstorm出現後,基本上可以說一統江湖: 究其優點:

jstorm處理資料的方式是基於訊息的流水線處理, 因此特別適合無狀態計算,也就是計算單元的依賴的資料全部在接受的訊息中可以找到, 並且最好乙個資料流不依賴另外乙個資料流。

因此,常常用於

分布式實時計算系統

reference 1 批處理在大資料世界有著悠久的歷史。批處理主要操作大容量靜態資料集,並在計算過程完成後返回結果。批處理模式中使用的資料集通常符合下列特徵 批處理非常適合需要訪問全套記錄才能完成的計算工作。例如在計算總數和平均數時,必須將資料集作為乙個整體加以處理,而不能將其視作多條記錄的集合。...

FW 分布式實時計算storm 原理

fw 分布式實時計算storm 原理簡介及單機版安裝指南 3 下面是以本地模式執行exclamationtopology的 1config conf newconfig 2conf.setdebug true 3conf.setnumworkers 2 4 5localcluster cluster...

《Storm分布式實時計算模式》 導讀

目 錄 前言 第1章 分布式單詞計數 1.1 storm topology的組成部分 stream spout和bolt 1.2 單詞計數topology的資料流 1.3 實現單詞計數topology 1.4 storm的併發機制 1.5 理解資料流分組 1.6 有保障機制的資料處理 總結 第2章 ...