jobmanager rpc通訊位址,一般需要配置指定的jobmanager的ip位址,預設的localhost不適合多節點集群模式
jobmanager的jvm堆記憶體,預設為1024m,可以根據集群規模適當增加
taskmanager的jvm堆記憶體,預設為1024m,可以根據資料計算規模以及狀態大小進行調整
配置每個taskmanager能夠提供的slot數量,根據taskmanager所在機器能夠提供給flink的cpu數量決定
flink任務預設並行度,與整個集群的cpu數量有關,增加parallelism可以提高任務並行的計算的例項數,提公升資料處理效率,但也會占用更過slot
集群臨時資料夾位址,flink會將中間計算資料放置在相應的路徑中
預設配置項會在集群啟動的時候載入到flink集群中,當使用者提交任務時,可以通過-d來動態設定系統引數,這樣配置檔案中的引數會被覆蓋
flink集群搭建
生成keystore和truststore檔案 依次執行以下的命令,執行中需要設定乙個不少於6位的密碼,這裡設定的密碼為hadoop。執行完成後,會在當前目錄生成keystore和truststore檔案。root itp flink master openssl req new x509 keyo...
ubuntu啟用本地Flink集群
1 安裝ubuntu,安裝方式 安裝方式 3 找到你安裝的linux系統的檔案位址,在rootfs下有很多檔案,把flink 1.10.1 bin scala 2.12.tgz拷貝到opt檔案下 我的位址如下,大家的應該前面不一樣,後面都是一樣的 4 在ubuntu中,進入到存放flink 1.10...
奇怪的問題 Flink集群搭建問題
在搭建flink集群的時候,出現taskmanager註冊不上jobmanager 檢視taskmanager 一直報trying to register at jobmanager akka.tcp.attempt 1,timeout 500 milliseconds 檢視webui頁面,task...