storm集群的監控

所謂兵馬未動，糧草先行，準備將storm用在某個專案中做實時資料分析。無論任何系統，一定要有監控系統並存，當故障發生的時候你能第乙個知道，而不是讓別人告訴你，那處理故障就很被動了。

因此我寫了這麼個專案，取名叫storm-monitor，放在了github上

主要功能如下：

1.監控supervisor數目是否正確，當supervisor掛掉的時候會傳送警告。

2.監控nimbus是否正常執行，monitor會嘗試連線nimbus，如果連線失敗就認為nimbus掛掉。

3.監控topology是否正常執行，包括它是否正常部署，是否有執行中的任務。

當故障發生的時候通過alarm方法警告使用者，開放出去的只是簡單地打日誌。因為每個公司的告警介面不一樣，所以你需要自己擴充套件，修改alarm.clj即可。我們這兒就支援旺旺告警和手機簡訊告警。

基本的原理很簡單，對supervisor和topology的監控是通過zookeeper來間接地監控，通過定期檢視path是否存在。對nimbus的監控是每次起乙個短連線連上去，連不上去即認為掛掉。

整個專案也是用clojure寫。你的機器需要安裝lein和exec外掛程式，然後將你的storm.yaml拷貝到conf目錄下，編輯monitor.yaml設定監控引數如檢查間隔等，最後啟動start.sh指令碼即可。預設日誌輸出在logs/monitor.log。

storm集群的監控

所謂兵馬未動，糧草先行，準備將storm用在某個專案中做實時資料分析。無論任何系統，一定要有監控系統並存，當故障發生的時候你能第乙個知道，而不是讓別人告訴你，那處理故障就很被動了。因此我寫了這麼個專案，取名叫storm monitor，放在了github上 主要功能如下 1.監控supervisor...

Storm 二 Storm集群部署

集群部署的基本流程 集群部署的基礎環境準備 storm集群部署 storm集群的常用操作命令 storm集群的程序及日誌檢視 注意 所有的集群上都需要配置hosts vi etc hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 ...

storm集群的搭建

在zookeeper集群的搭建中，我們已經完成了zookpeeper集群的搭建，本篇我們將講解如何搭建storm集群，並把storm集群接入到zookpeeper集群。軟體環境 linux配置python可以參考 linux環境下python的安裝過程 上傳apache storm 0.9.2 in...