Flink on Yarn 日誌輸出

flink on yarn 模式下，業務應用內部配置的 logback.xml/log4j.properties 是無法載入的，flink 會預設採用安裝目錄下的 $flink_home/logback.xml/log4j.properties 作為統一的 logger 定義檔案。

flink 提供的 logback.xml/log4j.properties 只配置了 rootlogger，如果不加修改，集群上面執行的所有作業日誌都將輸出到 rootlogger 指向的目錄。隨著時間的增長日誌量會很大，載入會非常慢甚至直接導致頁面掛掉。

因此可以通過修改 $flink_home/conf/logback.xml 檔案的方式對日誌進行定製(官方推薦使用logback.xml)。

一、實現步驟：

1、修改 $flink_home/conf/logback.xml


$_%d.%i
50mb
72gb
%d [%thread] %-5level %logger %x - %msg%n

2、新增 logback.xml 依賴的jar包（注意版本號與實際使用一致）

新增 log4j-over-slf4j-1.7.25.jar，logback-classic-1.2.3.jar， logback-core-1.2.3.jar 到 $flink_home/lib 路徑下。

此時，配置已經完成。按正常程式啟動 flink 任務即可。

二、注意事項

1、該方式只適用於單任務單集群部署方式。

2、$flink_home/lib/ 下的logback 相關jar 需要與業務專案中logback jar包版本一致。