接著上週的文章，做storm的全分布式以及ha的配置。storm的全分布式配置相比較偽分布式，修改的不多，今天把配置做好後，再執行乙個官方的jar包來實際的運算元據的採集，檢視處理的結果。
1. 準備三颱機器，bigdata112 bigdata113 bigdata114,其中bigdata112做主節點。首先三颱機器上都要安裝zk和storm，同時配置好環境變數。
2. 修改配置檔案conf/storm.yaml
// 設定zk位址
storm.zookeeper.servers:
- 「bigdata112」
- 「bigdata113」
- 「bigdata114」
// 設定nimbus主節點的位址，兩個節點做ha
nimbus.seeds: [「bigdata112」, 「bigdata113」]
// 首先要建立此目錄，儲存的是客戶端提交的jar檔案
storm.local.dir: 「/root/training/apache-storm-1.0.3/tmp」
// 設定每個從節點上的worker個數
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
// 啟動eventlogger,可以檢視處理的
「topology.eventlogger.executors」: 1
3. 將配置好的storm複製到其他兩個節點
scp -r apache-storm-1.0.3 root@bigdata113:/root/training/
scp -r apache-storm-1.0.3 root@bigdata114:/root/training/
4. 啟動：
主節點bigdata112: storm nimbus &
ui網頁 storm ui &
storm lo**iewer & //啟動日誌檢視器
主節點bigdata113: storm nimbus &
ui網頁 storm ui &
storm lo**iewer & //啟動日誌檢視器
從節點bigdata113和bigdata114: storm supervisor &
storm lo**iewer &
5. demo的演示，使用storm的官方例子
example位置：/root/training/apache-storm-1.0.3/examples/storm-starter/storm-starter-topologies-1.0.3.jar
6. 執行命令：
storm jar storm-starter-topologies-1.0.3.jar
org.apache.storm.starter.wordcounttopology mywctopology
通過ui檢視執行的資料過程，檢視結果。storm結束的時候要在介面上關閉運動的任務。
storm分布式安裝
1.機器a和b成功安裝zookeeper.3.檢視配置檔案 storm.zookeeper.servers 111.222.333.444 555.666.777.888 4.開啟配置檔案conf storm.yaml，這裡是配置zookooper servers 11 這裡代表是機器a的主機名55...
Storm分布式集群搭建
1.主要配置專案 配置資料目錄hostname 連線leader埠 leader選舉埠 server.101 mad101 2801 2802 server.102 mad102 2801 2802 server.103 mad103 2801 2802 2.在datadir目錄新建myid檔案 在...
原 Storm分布式RPC
分布式 rpc drpc 的設計目標是充分利用 storm 的計算能力實現高密度的並行實時計算。storm 接收若干個函式引數作為輸入流，然後通過 drpc 輸出這些函式呼叫的結果。嚴格來說，drpc 並不能算作是 storm 的乙個特性，因為它只是一種基於 storm 原語 stream spou...