topology: 乙個拓撲是乙個圖的計算,類似於mapreduce
stream: 流 其實就是資料的抽象,storm將資料封裝成元組結構tuple;所有機器上的某個topology任務的資料構成流
spout: 資料來源 一般是佇列消費端
bolt: 資料處理單元:負責計算,傳輸tuple,儲存資料;在bolt可以新起執行緒
stream grouping 流分組:定義在blot中流應該如何分割槽傳送【storm包含8個流分組介面:隨機分組shuffle group,字段分組】
task:任務計算拓撲上每個spout,bolt都需要執行緒處理,task就是對這一抽象概念的囊括
worker:感覺worker這個單詞更形象:工作程序,對應物理節點
spout可以整合的一些訊息源『
storm 有乙個本地模式localcluster cluster = new localcluster();用來模擬storm集群從而方便開發測試
其優點如下:
魯棒性好
可擴充套件:計算任務可動態調節計算能力
可容錯:nimbus,supervisor故障不會影響集群健康【會進行重啟】得益於無狀態化設計,資料掛載在外部
保證資料處理:每乙個tuple很難丟失
入門指南
storm-contrib整合了各類訊息源儲存源元件
HLSL初級教程
hlsl 初級教程 trcj 目錄 前言1.hlsl 入門1.1 什麼是著色器 1.2什麼是 hlsl 1.3怎麼寫hlsl 著色器1.4 怎麼用hlsl 著色器2.頂點著色器 2.1可程式設計資料流模型 2.2頂點宣告 2.3用頂點著色器實現漸變動畫 3.畫素著色器 3.1多紋理化 3.2多紋理效...
SubVersion初級教程
don t tell me why,just tell me how.1 找個rpm或者bin或者tar之類的安裝包,把subvesion安裝好。裝好之後client server admin都在你機器上了。2 首先在你中意的目錄,比如根目錄 下,執行 svnadmin create svnroot...
shiro 初級教程
首先 看不懂多看幾次,我已經把我學習的精華寫出來了 什麼許可權管理,我認為大概包括使用者認證與使用者授權。只要用使用者的系統,都會存在許可權管理。二 許可權管理基礎 2.1使用者認證 首先不管你做沒有做過許可權管理,如下圖你也是熟悉的。這個圖的流程很簡單,很直觀的看到許可權認證的流程走向。那麼上圖中...