# 1. 啟動集群
./bin/start-cluster.sh
# 2. 啟動yarn-session
./bin/yarn-session.sh -n 1 -jm 1024 -tm 1024 -s 1 -nm yarn-session-jobs -d
引數說明:
-n : 指定number of task manager,指定taskmanager個數
-jm: jobmanager所占用的記憶體數,單位為mb
-tm: 指定每個taskmanager所占用的記憶體,單位為mb
-s: 指定每個taskmanager可使用的cpu核數
-d : 後台啟動,session啟動後,程序關閉
# 3. 提交job
引數說明:
-p:指定任務的並行度,如果你在程式**中指定了並行度的話,那麼此處的並行度引數不起作用
-c: job的主入口 + jar path
注:job引數要寫在-c之前,不然指定引數不起作用…
Flink on Yarn 日誌輸出
flink on yarn 模式下,業務應用內部配置的 logback.xml log4j.properties 是無法載入的,flink 會預設採用安裝目錄下的 flink home logback.xml log4j.properties 作為統一的 logger 定義檔案。flink 提供的 ...
Flink on Yarn啟動問題
一 fink on yarn啟動後自動關閉 使用.bin yarn session.sh n 2 s 2 jm 1024 tm 1024命令啟動,過幾秒就關閉了 經測試發現,是由於分配的記憶體太大導致的,把分配的記憶體調小,嘗試改為800 即可正常啟動。很可能你修改為800的記憶體後,程序還是會被k...
Flink on Yarn啟動簡要流程
構造am時是通過設定env和cmd設定對應的執行方法和環境變數 yarn session.sh下構造am為yarnsessionclusterentryendpoint,構造常駐集群 run m yarn cluster下構造am為yarnsessionclusterentryendpoint,構造...