說明：修改路徑$hadoop/etc/hadoop下的yarn-site.xml。新增兩個屬性並儲存上傳伺服器。
屬性1：表示在yanr上開啟聚合日誌服務。屬性2：表示聚合日誌在伺服器上的存留時間。
sbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
image.png
image.png
yarn 日誌聚集配置
日誌聚集是yarn提供的日誌 化管理功能，它能將執行完成的container 任務日誌上傳到hdfs上，從而減輕nodemanager負載，且提供乙個 化儲存和分析機制。預設情況下，container 任務日誌存在在各個nodemanager上，如果啟用日誌聚集功能需要額外的配置。1 yarn.lo...
配置日誌聚集
所謂日誌聚集，就是指應用執行完以後，將程式的執行日誌資訊上傳到hdfs系統上。日誌聚集可以方便的檢視程式的執行詳情，方便開發除錯。開啟日誌聚集，需要重啟nodemanager resourcemanager和historymanager。1.配置yarn site.xml檔案 yarn.log ag...
Yarn 日誌儲存配置
我們知道，yarn上能夠監控執行的spark情況，但是乙個程式執行完後就會被銷毀，看不到了。所以我們需要在程式執行完也能看到日誌，這是就需要配置我們的引數了 1.進入spark conf下，拷貝乙個spark.defaults.conf檔案修改引數 spark.eventlog.enabled tr...