我們知道，yarn上能夠監控執行的spark情況，但是乙個程式執行完後就會被銷毀，看不到了。
所以我們需要在程式執行完也能看到日誌，這是就需要配置我們的引數了
1.進入spark conf下，拷貝乙個spark.defaults.conf檔案修改引數
spark.eventlog.enabled true //將日誌持久化儲存下來展示
spark.eventlog.dir hdfs://bjcdh:8021/dir //日誌存放位址
2. 修改spark.env.sh 引數
spark_history_opts="-dspark.history.fs.logdirectory
=hdfs://bjcdh:8021/dir -dspark.history.ui.port=7777" //指定讀取路徑和埠
3.啟動日誌監控，進入到sbin/ 執行 ./start-history-server.sh
執行之後會提示輸出乙個.out的日誌檔案，使用tail -f 命令檢視日誌中最後面提到的啟動位址，瀏覽器中輸入這個位址可看到執行的和未執行的。
例如位址http://hadoop001:7777
4.另外還有些引數需要我們自己設定
spark.history.fs.update.interval 10s //每10s去重新整理一次看有沒有更新
spark.history.fs.cleaner.enabled true //自動清理器 清理日誌
spark.history.fs.cleaner.interval 1d //每隔一台清理一次
spark.history.fs.cleaner.maxage 7d //清理7天之前的日誌
這些都是生產環境需要設定的一些引數。用來排查程式掛掉的日誌資訊。
yarn 日誌聚集配置
日誌聚集是yarn提供的日誌 化管理功能，它能將執行完成的container 任務日誌上傳到hdfs上，從而減輕nodemanager負載，且提供乙個 化儲存和分析機制。預設情況下，container 任務日誌存在在各個nodemanager上，如果啟用日誌聚集功能需要額外的配置。1 yarn.lo...
YARN的日誌聚集配置使用
說明 修改路徑 hadoop etc hadoop下的yarn site.xml。新增兩個屬性並儲存上傳伺服器。屬性1 表示在yanr上開啟聚合日誌服務。屬性2 表示聚合日誌在伺服器上的存留時間。sbin yarn daemon.sh start resourcemanager sbin yarn ...
YARN 任務日誌儲存到HDFS中
配置檔案如下 yarn site.xml。我下面只寫出日誌相關的配置內容 yarn.log aggregation.retain secondsname 10080value 日誌儲存時間description property yarn.log aggregation enablename tru...