上一節部署python程式出現了一些錯誤,沒能正確執行,本節基於穩定版storm做了修正,執行成功
streamparse最新穩定版是基於0.9.5版本的storm的,所以我們需要把storm集群的版本回退到0.9.5,方法如下:
wget
/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz
解壓後修改conf/storm.yaml檔案,新增如下配置項:
storm.zookeeper.servers:
- "127.0.0.1"
nimbus.seeds: ["127.0.0.1"]
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
啟動,執行:
[root@centos7vm apache-storm-0.9.5]# ./bin/storm nimbus &
[root@centos7vm apache-storm-0.9.5]# ./bin/storm supervisor &
[root@centos7vm apache-storm-0.9.5]# ./bin/storm ui &
啟動需要花費數秒鐘時間,直到開啟http://localhost:8080能正常顯示web頁說明啟動正常
確定安裝的streamparse版本是
[root@centos7vm tmp]# sparse --version
sparse 2.1.4
執行
[root@centos7vm tmp]# sparse quickstart wordcount
把nimbus和workers配置成你的storm機器(填寫別名或ip,需要提前建立好ssh host的無密碼登陸),比如我的是:
,
"virtualenv_root": "/root/tmp/wordcount/virtualenvs/"
} }
}
執行
[root@centos7vm wordcount]# sparse jar
會看到生成了_build/wordcount-0.0.1-snapshot-standalone.jar檔案
執行
[root@centos7vm wordcount]# storm jar _build/wordcount-0.0.1-snapshot-standalone.jar streamparse.commands.submit_topology topologies/wordcount.clj
檢視日誌
[root@centos7vm wordcount]# tail /data/apache-storm-0.9.5/logs/worker-6700.log
2016-05-16
t08:53:
38.579+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt elephant:
6562016-05-16
t08:53:
38.580+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt dog:
6902016-05-16
t08:53:
38.585+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt zebra:
6592016-05-16
t08:53:
38.588+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt dog:
6912016-05-16
t08:53:
38.595+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt elephant:
6572016-05-16
t08:53:
38.596+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt dog:
6922016-05-16
t08:53:
38.604+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt elephant:
6582016-05-16
t08:53:
38.606+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt dog:
6932016-05-16
t08:53:
38.635+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt zebra:
6602016-05-16
t08:53:
38.640+0800 b.s.t.shellbolt [info] shelllog
pid:
74811, name:count-bolt dog:
694
看到如上日誌,說明正常執行 黑板模式(二十九)
黑板模式 blackboarddesignpattern 是觀察者模式的乙個擴充套件,知名度並不高,但是我們使用的範圍卻非常廣。黑板模式的意圖如下 允許訊息的讀寫同時進行,廣泛地互動訊息。簡單地說,黑板模式允許多個訊息讀寫者同時存在,訊息的生產者和消費者完全分開。這就像乙個黑板,任何乙個教授 訊息的...
二十九 直譯器模式
直譯器模式 interpreter 給定乙個語言,定義它的文法的一種表示,並定義乙個直譯器,這個直譯器使用該表示來解釋語言中的句子。知識點 字串匹配,判斷email,匹配 號碼等等。正規表示式就是直譯器模式的一種應用。直譯器模式容易的改變和擴充套件方法。直譯器模式為文法中的每一條規則至少定義了乙個類...
愛情二十九課,駕馭愛情
每個人都期待駕馭愛情,都希望讓戀人終生痴情於自己,也希望愛情保持新鮮,但愛情是一種非常飄渺的心理因素,能駕馭愛情的技巧是什麼呢 大部分人常用的戰術有3種 第一種 用內疚感來駕馭 在發現愛情溫度下降時,有些人會向戀人大哭大鬧,竭盡全力誘發出對方的內疚感。他們會描述兩人在戀愛時的海誓山盟和刻骨銘心,然後...