storm 是乙個類似hadoop mapreduce的系統, 使用者按照指定的介面實現乙個任務,然後將這個任務遞交給jstorm系統,jstorm將這個任務跑起來,並且按7 * 24小時執行起來,一旦中間乙個worker 發生意外故障, 排程器立即分配乙個新的worker替換這個失效的worker。
因此,從應用的角度,jstorm 應用是一種遵守某種程式設計規範的分布式應用。從系統角度, jstorm一套類似mapreduce的排程系統。 從資料的角度, 是一套基於流水線的訊息處理機制。
實時計算現在是大資料領域中最火爆的乙個方向,因為人們對資料的要求越來越高,實時性要求也越來越快,傳統的hadoop mapreduce,逐漸滿足不了需求,因此在這個領域需求不斷。
storm
hadoop
角色nimbus
jobtracker
supervisor
tasktracker
worker
child
應用名稱
topology
job程式設計介面
spout/bolt
在storm和jstorm出現以前,市面上出現很多實時計算引擎,但自storm和jstorm出現後,基本上可以說一統江湖: 究其優點:
圖中這種顏色標識的是storm中的基本元件,包括:
topology,bolt,spout,worker,task,slot,stream,tuple
storm的核心是topology,程式以topology作為乙個整體提交到集群上
資料流入口:spout程式負責從資料來源讀入資料,然後發射出去,形成乙個stream流,可以被多個bolt接受,形成多個流
資料的消費者,從stream流中讀取資料,處理資料
可以從不同的流中讀取資料
spout發射的資料形成資料流,
可以理解為乙個topology承包給多少個包工頭(worker)
可以理解為工人,乙個worker下面有多個task,每個task執行乙個bolt或spout的例項
ORACLE 入門系列 1
最近開始重新梳理自己的oracle知識,寫出來以備記錄和供大家共享。1.安裝oracle服務端軟體自不必說。2.使用dos介面連線資料庫 執行以下命令 sqlplus nolog 回車 conn 使用者名稱 密碼 如果使用sys登陸,這樣寫 conn sys sys as sysdba 回車 顯示已...
react系列(1)入門
react對初學者入門較難,它也是現在前端三大主流框架之一。想了想,還是寫一些文章吧,一來可以幫助想學習react的初學者,二來也可以總結經驗,把這些知識點共享出來。在挑選react版本的時候,發現react最新版的v16.x和v15.x之間會有api出入。比如,v16.x不再支援最基本的渲染元件r...
Gradle Gradle入門系列(1) 簡介
gradle是一種構建工具,它拋棄了基於xml的構建指令碼,取而代之的是採用一種基於groovy的內部領域特定語言。近期,gradle獲得了極大的關注,這也是我決定去研究gradle的原因。我們開始吧,先看一下如何安裝gradle。如果在安裝過程中遇到問題,可以進一步檢視官方的安裝指南。如果我們使用...