1、mapreduce執行日誌引數(預設設定,訪問在hdfs上,重啟後將丟失,可通過mapred-site.xml修改路徑設定):
分為歷史日誌引數和執行日誌引數
mapreduce.jobhistory.done-dir
mapreduce.jobhistory.intermediate-done-dir
/tmp/hadoop-yarn/staging
2、container執行日誌(存放在本地檔案系統上)
包含am日誌和普通task日誌,預設情況下是存在$/logs/userlogs上,可通過以下引數修改
yarn.nodemanager.log-dirs
$/userlogs
3、啟用歷史服務,可檢視mapreduce的歷史執行日誌:
mr-jobhistory-daemon.sh start historyserver
即可在19888埠上開啟歷史伺服器的web ui介面
mapreduce.jobhistory.address
master:10020
master:19888
Hadoop日誌介紹
1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯,如何查詢問題所在?1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話,清空日誌檔案,cat dev n...
hadoop日誌聚合
一 在yarn site.xml檔案中新增日誌監控支援 該配置中新增下面的配置 5二 在mapred site.xml檔案中新增日誌服務的配置 該配置檔案中新增如下配置 若是有了的話,無需再次新增 mapreduce.framework.name yarn mapreduce.jobhistroy....
Hadoop除錯日誌
1.export hadoop root logger debug,console 2.使用hadoop shell命令daemonlog 192.168.142.111 9870,這裡的埠是http埠3.通過web介面 使用者可以通過web介面檢視和修改某個類的日誌級別,比如,可通過以下url修改...