一、在yarn-site.xml檔案中新增日誌監控支援
該配置中新增下面的配置:
5二、在mapred-site.xml檔案中新增日誌服務的配置
該配置檔案中新增如下配置:若是有了的話,無需再次新增
mapreduce.framework.name
yarn
mapreduce.jobhistroy.address
master:10020
master:19888
scp 命令將配置檔案拷貝覆蓋到其他機器
四、重新啟動集群的hdfs和yarn服務
./start-all.sh
五、 開啟日誌監控服務程序
在nodenode機器上執行 sbin/mr-jobhistory-daemon.sh start historyserver 命令,執行完成後使用jps命令檢視是否啟動成功,若啟動成功則會顯示出jobhistoryserver服務
yarn 日誌聚合功能
在yarn集群上執行作業的時候,日誌聚合是沒有執行的。只有當整個作業完成的時候,才能將各個node上的日誌上傳到hadoop上。而且缺省會刪除本節點的日誌刪除,所以你無法從yarn的web查詢日誌了。start aggerate key yarn.log aggregation enable val...
hadoop 日誌引數
1 mapreduce執行日誌引數 預設設定,訪問在hdfs上,重啟後將丟失,可通過mapred site.xml修改路徑設定 分為歷史日誌引數和執行日誌引數 mapreduce.jobhistory.done dir mapreduce.jobhistory.intermediate done d...
Hadoop日誌介紹
1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯,如何查詢問題所在?1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話,清空日誌檔案,cat dev n...