storm中真正幹活的是各個worker,而worker由supervisor負責啟動。在topology啟動過程中我們會看到如下的啟動日誌:
這就是啟動乙個worker程序,也就是乙個jvm程序。
預設情況下,storm啟動worker程序時,jvm的最大記憶體是768m。
但我在使用過程中,由於會在bolt中載入大量資料,768m記憶體無法滿足需求,會導致記憶體溢位程式崩潰。
經過研究發現,可以通過在strom的配置檔案storm.yaml中設定worker的啟動引數.
worker.childopts: "-xmx2048m"
該引數會在啟動時傳遞給jvm,然後就可以在worker中使用2048m記憶體了。
目前好像storm還沒有配置檔案的詳細說明,比如可以配置哪些引數,怎麼配置?
package backtype.storm;
Storm短暫的Worker腦裂之旅
storm中supervisor控制著worker的生命週期,負責worker的啟停。前端時間開發類似storm中這樣的一套系統時 worker和storm差別很大 腦裂的問題,supervisor負責啟動乙個worker,而最後上機器ps看到卻有兩個相同的worker,這兩個相同的worker反覆...
storm日誌配置
storm中的日誌級級別預設為info,並且,日誌檔案是根據worker號來進行區分的,這樣,同乙個log檔案中的資訊不一定是乙個業務的,這樣就會有以下兩個需求出現 1.想要進行一些除錯資訊的輸出 2.除錯資訊或者業務日誌資訊想要輸出到一些固定的檔案中 不要怕,不要煩惱,其實storm已經提供了這樣...
storm安裝配置
1.修改主機名 vim etc sysconfig network networking yes hostname master 2.修改ip 先用ifconfig得到ip資訊,將其複製 設定ip位址為靜態 vim etc sysconfig network scripts ifcfg eth0 b...