1.檢視 job 資訊
hadoop job -list
2.殺掉 job
hadoop job –kill job_id
3.指定路徑下檢視歷史日誌彙總
hadoop job -history output-dir
4.作業的更多細節
hadoop job -history all output-dir
5.列印map和reduce完成百分比和所有計數器
hadoop job –status job_id
6.殺死任務。被殺死的任務不會不利於失敗嘗試
hadoop jab -kill-task
7.使任務失敗。被失敗的任務會對失敗嘗試不利
hadoop job -fail-task
hadoop job 日誌的檢視
一般有幾個地方可以檢視 1 通過本地日誌目錄檢視對應container日誌檔案，預設在hadoop的安裝目錄下的 logs userlogs 直接用檢視檔案命令檢視即可 該地方的應用執行日誌不一定最全,因為任務執行日誌由每乙個nm產生在本地，然後再給聚合到檔案系統中 配置聚合日誌功能 log內容省略...
hadoop JOB的效能優化實踐
使用了幾個月的hadoopmr，對遇到過的效能問題做點筆記，這裡只涉及job的效能優化，沒有接觸到 hadoop集群，作業系統，任務排程策略這些方面的問題。hadoop mr在做大資料量分析時候有限的計算資源情況下只能不斷的優化程式。優化可以從兩個方面進行 1.hadoop配置 2.程式 程式 包括...
hadoop JOB的效能優化實踐
使用了幾個月的hadoopmr，對遇到過的效能問題做點筆記，這裡只涉及job的效能優化，沒有接觸到 hadoop集群，作業系統，任務排程策略這些方面的問題。hadoop mr在做大資料量分析時候有限的計算資源情況下只能不斷的優化程式。優化可以從兩個方面進行 1.hadoop配置 2.程式 程式 包括...