Storm入門(二) 架構模型和集群部署

2021-09-24 15:21:18 字數 972 閱讀 9404

storm 的特點

storm 的架構和元件

如何安裝 storm 集群

如何提交作業到 storm 集群

storm 架構圖.png

此處)nimbus:

supervisor

worker

executor

zookeeper

ui (啟動後程序名為 core)

從架構圖我們可以知道,storm 的 主節點 nimbus 和 從節點supervisor 不會直接進行通訊,而是依賴於 zookeeper 這個元件,這也是storm的乙個設計巧妙之處,很好的避免了 主從之間依賴而產生的系列問題

安裝什麼的比較簡單,這裡就不再造輪子了,

可以看下這篇

這裡有張部署完之後,各個節點本地的目錄樹圖

storm本地的目錄樹.png

public static void main(string args)  catch (alreadyaliveexception e)  catch (invalidtopologyexception e)  catch (authorizationexception e) 

} else

}

打成 jar 包

這個就不要我說了吧...

命令列提交

到 storm 集群的任意一台機器,使用 storm 指令進行提交:

storm jar ***.jar com.package,name topologyname

如果一切沒有問題,就可以正常執行了

封裝之路(三)架構模型

封裝之路 三 架構模型 有時需要權衡,base到底是實現更多功能,還是保持清晰,只存留簡單的架構的內容,其餘的統統留給開發者。這裡我選擇了後者,保持其單純目標即可 baseactivity 這個裡面完成初始化view和注入vm,繫結vm的過程,隨後則將邏輯推給vm,後續有個訊息註冊和bus的繫結解綁...

Storm架構和程式設計模型總結

1 程式設計模型 datasource 外部資料來源 spout 接受外部資料來源的元件,將外部資料來源轉化成storm內部的資料,以tuple為基本的傳輸單元下發給bolt bolt 接受spout傳送的資料,或上游的bolt的傳送的資料。根據業務邏輯進行處理。傳送給下乙個bolt或者是儲存到某種...

RabbitMQ集群架構模型與原理解析

也稱為 warren 兔子窩 模式。實現 rabbitmq 的高可用集群,一般在併發和資料量不高的情況下,這種模式非常的好用且簡單。也就是乙個主 備方案,主節點提供讀寫,備用節點不提供讀寫。如果主節點掛了,就切換到備用節點,原來的備用節點公升級為主節點提供讀寫服務,當原來的主節點恢復執行後,原來的主...