storm架構如下圖所示:
1、主控節點(master node)
執行storm nimbus後台服務的節點(nimbus)，它是storm系統的中心，負責接收使用者提交的作業(如同spark submit一樣 即為jar包形式儲存的topology**)，通過zookeeper向每個工作節點分配處理任務（有程序級的也有執行緒級別的）
2、工作節點(work node)
3、控制台節點(web console node)
執行storm ui後台服務的節點。實際上是乙個web伺服器，在指定埠提供頁面服務。使用者可以通過使用瀏覽器訪問控制台節點的web頁面，提交、暫停和撤銷作業，也可以以唯讀的形式獲取系統配置、作業及各個元件的執行時狀態。（如果需要實現作業的管理，storm ui須和storm nimbus部署在同一臺機器上，ui程序會檢查本機是否存在nimbus的連線，若不存在可導致ui部分功能無法正常工作.)
4、協調節點(coordinate node)
執行zookeeper程序的節點，numbus和supervisor之間所有的協調，包括分布式狀態維護和分布式配置管理，都是通過該協調節點實現的。
作業提交：
1、首先，如同spark-submit執行一樣，將作業達成jar包，通過storm的客戶端命令或者控制台節點的web介面，提交至storm系統的主控節點。
2、主控節點根據系統的全域性配置和作業中的區域性配置，將接受的**分發至排程的工作節點。
Storm架構執行原理
storm集群主要包含nimbus和supervisor兩部分，集群協調依賴於外部zookeeper。storm特性 1 分布式計算 2 高效能 低延時 3 可擴容 4 高度容錯 5 資料可靠 ack nimbus 集群管理中心，支援ha，負責接收客戶端提交的拓撲 topology 將任務分發給su...
storm架構及原理
storm 架構與原理 1.1 storm是什麼 1.2 storm 與傳統的大資料 2.1 hadoop架構簡介 2.2 hadoop架構的瓶頸 3.1 storm架構的設計 storm架構中使用spout bolt程式設計模型來對訊息進行流式處理 訊息流是storm中對資料的基本抽象,乙個訊息流...
Storm基本體系架構
apache storm 是由twitter開源的分布式實時計算系統。storm可以非常容易並且可靠的處理無限的資料流。對比hadoop的批處理，storm是乙個實時的 分布式的 具備高容錯的計算系統。storm應用可以使用不同的程式語言來進行開發。storm基本體系結構圖 nimbus和super...