二十九 在storm上執行python程式(修正)

2021-07-26 10:26:28 字數 2940 閱讀 1048

上一節部署python程式出現了一些錯誤,沒能正確執行,本節基於穩定版storm做了修正,執行成功

streamparse最新穩定版是基於0.9.5版本的storm的,所以我們需要把storm集群的版本回退到0.9.5,方法如下:

wget 

/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

解壓後修改conf/storm.yaml檔案,新增如下配置項:

storm.zookeeper.servers:

- "127.0.0.1"

nimbus.seeds: ["127.0.0.1"]

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

啟動,執行:

[root@centos7vm apache-storm-0.9.5]# ./bin/storm nimbus &

[root@centos7vm apache-storm-0.9.5]# ./bin/storm supervisor &

[root@centos7vm apache-storm-0.9.5]# ./bin/storm ui &

啟動需要花費數秒鐘時間,直到開啟http://localhost:8080能正常顯示web頁說明啟動正常

確定安裝的streamparse版本是

[root@centos7vm tmp]# sparse --version

sparse 2.1.4

執行

[root@centos7vm tmp]# sparse quickstart wordcount
把nimbus和workers配置成你的storm機器(填寫別名或ip,需要提前建立好ssh host的無密碼登陸),比如我的是:

,

"virtualenv_root": "/root/tmp/wordcount/virtualenvs/"

} }

}

執行

[root@centos7vm wordcount]# sparse jar
會看到生成了_build/wordcount-0.0.1-snapshot-standalone.jar檔案

執行

[root@centos7vm wordcount]# storm jar _build/wordcount-0.0.1-snapshot-standalone.jar streamparse.commands.submit_topology topologies/wordcount.clj
檢視日誌

[root@centos7vm wordcount]# tail /data/apache-storm-0.9.5/logs/worker-6700.log

2016-05-16

t08:53:

38.579+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt elephant:

6562016-05-16

t08:53:

38.580+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt dog:

6902016-05-16

t08:53:

38.585+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt zebra:

6592016-05-16

t08:53:

38.588+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt dog:

6912016-05-16

t08:53:

38.595+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt elephant:

6572016-05-16

t08:53:

38.596+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt dog:

6922016-05-16

t08:53:

38.604+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt elephant:

6582016-05-16

t08:53:

38.606+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt dog:

6932016-05-16

t08:53:

38.635+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt zebra:

6602016-05-16

t08:53:

38.640+0800 b.s.t.shellbolt [info] shelllog

pid:

74811, name:count-bolt dog:

694

看到如上日誌,說明正常執行

黑板模式(二十九)

黑板模式 blackboarddesignpattern 是觀察者模式的乙個擴充套件,知名度並不高,但是我們使用的範圍卻非常廣。黑板模式的意圖如下 允許訊息的讀寫同時進行,廣泛地互動訊息。簡單地說,黑板模式允許多個訊息讀寫者同時存在,訊息的生產者和消費者完全分開。這就像乙個黑板,任何乙個教授 訊息的...

二十九 直譯器模式

直譯器模式 interpreter 給定乙個語言,定義它的文法的一種表示,並定義乙個直譯器,這個直譯器使用該表示來解釋語言中的句子。知識點 字串匹配,判斷email,匹配 號碼等等。正規表示式就是直譯器模式的一種應用。直譯器模式容易的改變和擴充套件方法。直譯器模式為文法中的每一條規則至少定義了乙個類...

愛情二十九課,駕馭愛情

每個人都期待駕馭愛情,都希望讓戀人終生痴情於自己,也希望愛情保持新鮮,但愛情是一種非常飄渺的心理因素,能駕馭愛情的技巧是什麼呢 大部分人常用的戰術有3種 第一種 用內疚感來駕馭 在發現愛情溫度下降時,有些人會向戀人大哭大鬧,竭盡全力誘發出對方的內疚感。他們會描述兩人在戀愛時的海誓山盟和刻骨銘心,然後...