Storm 配置 設定worker程序記憶體大小

2021-06-22 08:39:01 字數 546 閱讀 9873

storm中真正幹活的是各個worker,而worker由supervisor負責啟動。在topology啟動過程中我們會看到如下的啟動日誌:

這就是啟動乙個worker程序,也就是乙個jvm程序。

預設情況下,storm啟動worker程序時,jvm的最大記憶體是768m。

但我在使用過程中,由於會在bolt中載入大量資料,768m記憶體無法滿足需求,會導致記憶體溢位程式崩潰。

經過研究發現,可以通過在strom的配置檔案storm.yaml中設定worker的啟動引數.

worker.childopts: "-xmx2048m"
該引數會在啟動時傳遞給jvm,然後就可以在worker中使用2048m記憶體了。

目前好像storm還沒有配置檔案的詳細說明,比如可以配置哪些引數,怎麼配置?

package backtype.storm;

Storm短暫的Worker腦裂之旅

storm中supervisor控制著worker的生命週期,負責worker的啟停。前端時間開發類似storm中這樣的一套系統時 worker和storm差別很大 腦裂的問題,supervisor負責啟動乙個worker,而最後上機器ps看到卻有兩個相同的worker,這兩個相同的worker反覆...

storm日誌配置

storm中的日誌級級別預設為info,並且,日誌檔案是根據worker號來進行區分的,這樣,同乙個log檔案中的資訊不一定是乙個業務的,這樣就會有以下兩個需求出現 1.想要進行一些除錯資訊的輸出 2.除錯資訊或者業務日誌資訊想要輸出到一些固定的檔案中 不要怕,不要煩惱,其實storm已經提供了這樣...

storm安裝配置

1.修改主機名 vim etc sysconfig network networking yes hostname master 2.修改ip 先用ifconfig得到ip資訊,將其複製 設定ip位址為靜態 vim etc sysconfig network scripts ifcfg eth0 b...