初學者執行mapreduce作業時，經常會遇到各種錯誤，往往不知所云，一般直接將終端列印的錯誤貼到搜尋引擎上查詢，以借鑑前人的經驗。
對於hadoop而言，當遇到錯誤時，第一時間應是檢視日誌，日誌裡通產會有詳細的錯誤原因提示。hadoop mapreduce日誌分為兩部分，一部分是服務日誌，一部分是作業日誌，具體介紹如下：
1. hadoop 1.x版本
hadoop 1.x中mapreduce的服務日誌包括jobtracker日誌和各個tasktracker日誌，它們的日誌位置如下：
jobtracker：在jobtracker安裝節點上，預設位置是
$/logs/*-jobtracker-*.log，該檔案每天生成乙個，舊的日誌字尾是日期，當天的日誌檔案字尾是「.log」。
tasktracker：在各個tasktracker安裝節點上，預設位置是
$/logs/*-tasktracker-*.log，該檔案每天生成乙個，舊的日誌後面會跟乙個日誌，當天的日誌檔案字尾是「.log」
作業日誌包括jobhistory日誌和task日誌兩部分，其中，jobhistory日誌是作業執行日誌，包括作業啟動時間、結束時間，每個任務的啟動時間、結束時間，各種counter資訊等，使用者可以從這個日誌中解析出作業執行的各種資訊，是非常有價值的資訊。預設存放位置是jobtracker所在節點的$/logs/history目錄下，可通過引數hadoop.job.history.location配置。每個task日誌存放在task執行節點上，存放位置是$/userlogs//目錄下，每個task包含三個日誌檔案，分別是stdout、stderr和syslog，其中，stdout是通過標準輸出列印出來的日誌，比如system.out.println，注意，程式中通過標準輸出列印的日誌並不會直接顯示在終端上，而是儲存在這個檔案中，syslog是通過log4j列印的日誌，通常這個日誌中包含的有用資訊最多，也是錯誤除錯中最關鍵的參考日誌。
2. hadoop 2.x版本
3. 總結
hadoop日誌是使用者定位問題的最重要渠道，對於初學者而言，往往意識不到這一點，或者即使意識到這一點，也找不到日誌存放位置，希望本文對初學者有幫助。
hadoop 日誌引數
1 mapreduce執行日誌引數 預設設定，訪問在hdfs上，重啟後將丟失，可通過mapred site.xml修改路徑設定 分為歷史日誌引數和執行日誌引數 mapreduce.jobhistory.done dir mapreduce.jobhistory.intermediate done d...
Hadoop日誌介紹
1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯，如何查詢問題所在？1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話，清空日誌檔案，cat dev n...
hadoop日誌聚合
一 在yarn site.xml檔案中新增日誌監控支援 該配置中新增下面的配置 5二 在mapred site.xml檔案中新增日誌服務的配置 該配置檔案中新增如下配置 若是有了的話，無需再次新增 mapreduce.framework.name yarn mapreduce.jobhistroy....