此文已由作者嶽猛授權網易雲社群發布。
前提條件首先我們通過下面的命令列啟動flink on yarn的集群首先需要配置yarn_conf_dir, hadoop_conf_dir ，hadoop_conf_path其中乙個用來確保flink能夠訪問hdfs和yarn的rm。
bin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st
這裡將產生總共五個程序
即乙個客戶端+4個container，1個container啟動am，3個container啟動taskmanager。
flinkyarnsessioncli 啟動的過程中首先會檢查yarn上有沒有足夠的資源去啟動所需要的container，如果有，則上傳一些flink的jar和配置檔案到hdfs，這裡主要是啟動am程序和taskmanager程序的相關依賴jar包和配置檔案。後面我會從源**的角度看下啟動流程
免費體驗雲安全(易盾)內容安全、驗證碼等服務
更多網易技術、產品、運營經驗分享請點選。
Flink on Yarn啟動問題
一 fink on yarn啟動後自動關閉 使用.bin yarn session.sh n 2 s 2 jm 1024 tm 1024命令啟動，過幾秒就關閉了 經測試發現，是由於分配的記憶體太大導致的，把分配的記憶體調小，嘗試改為800 即可正常啟動。很可能你修改為800的記憶體後，程序還是會被k...
Flink on Yarn啟動簡要流程
構造am時是通過設定env和cmd設定對應的執行方法和環境變數 yarn session.sh下構造am為yarnsessionclusterentryendpoint，構造常駐集群 run m yarn cluster下構造am為yarnsessionclusterentryendpoint，構造...
Flink on Yarn 日誌輸出
flink on yarn 模式下，業務應用內部配置的 logback.xml log4j.properties 是無法載入的，flink 會預設採用安裝目錄下的 flink home logback.xml log4j.properties 作為統一的 logger 定義檔案。flink 提供的 ...