Storm入門教程 安裝部署步驟詳解 1

2021-09-02 13:18:00 字數 938 閱讀 9644

本文以twitter storm官方wiki為基礎,詳細描述如何快速搭建乙個storm集群,其中,專案實踐中遇到的問題及經驗總結,在相應章節以「注意事項」的形式給出。

一、storm集群元件

storm集群中包含兩類節點:主控節點(master node)和工作節點(work node)。其分別對應的角色如下:

1. 主控節點(master node)上執行乙個被稱為nimbus的後台程式,它負責在storm集群內分發**,分配任務給工作機器,並且負責監控集群執行狀態。nimbus的作用類似於hadoop中jobtracker的角色。

2. 每個工作節點(work node)上執行乙個被稱為supervisor的後台程式。supervisor負責監聽從nimbus分配給它執行的任務,據此啟動或停止執行任務的工作程序。每乙個工作程序執行乙個topology的子集;乙個執行中的topology由分布在不同工作節點上的多個工作程序組成。

storm集群元件

nimbus和supervisor節點之間所有的協調工作是通過zookeeper集群來實現的。此外,nimbus和supervisor程序都是快速失敗(fail-fast)和無狀態(stateless)的;storm集群所有的狀態要麼在zookeeper集群中,要麼儲存在本地磁碟上。這意味著你可以用kill -9來殺死nimbus和supervisor程序,它們在重啟後可以繼續工作。這個設計使得storm集群擁有不可思議的穩定性。

二、安裝storm集群

這一章節將詳細描述如何搭建乙個storm集群。下面是接下來需要依次完成的安裝步驟:

1. 搭建zookeeper集群;

2. 安裝storm依賴庫;

4. 修改storm.yaml配置檔案;

5. 啟動storm各個後台程序。

Storm入門教程 安裝部署步驟詳解 1

本文以twitter storm官方wiki為基礎,詳細描述如何快速搭建乙個storm集群,其中,專案實踐中遇到的問題及經驗總結,在相應章節以 注意事項 的形式給出。一 storm集群元件 storm集群中包含兩類節點 主控節點 master node 和工作節點 work node 其分別對應的角...

Redis安裝與部署新手入門教程

對於絕大多數初學者來說,安裝redis都是乙個難關。這篇文章主要是分享一下如何在linux中安裝redis服務。那麼下面一起看看redis安裝與部署新手入門教程吧 redis安裝與部署 1 連線虛擬機器 首先得啟動虛擬機器的network服務。我裝的是目前最新版的centos7,虛擬機器的網路使用的...

PostgreSQL安裝入門教程

一 安裝 首先,安裝postgresql客戶端。sudo apt get install postgresql client 然後,安裝postgresql伺服器。sudo apt get install postgresql 正常情況下,安裝完成後,postgresql伺服器會自動在本機的5432...