MapReduce歷史伺服器

作用

儲存執行job任務節點的執行日誌

將多個節點執行map任務的日誌和最終reduce日誌聚合在一起

在mapred-site.xml中新增配置

1

2mapreduce.jobhistory.address
3hostname:1002045
67hostname:19888
8

在yarn-site.xml中新增配置

1

2yarn.log-aggregation-enable
3true45
6yarn.log-aggregation.retain-seconds
#日誌儲存時間
7604800
#預設7天
8

啟動歷史伺服器

mr-jobhistory-daemon.sh start historyserver

Hadoop配置歷史伺服器

配置歷史伺服器 為了檢視程式的歷史運 況，需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...

hadoop配置歷史伺服器

1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...

HADOOP之歷史伺服器

hadoop自帶了乙個歷史伺服器，可以通過歷史伺服器檢視已經執行完的 mapreduce作業記錄，比如用了多少個map 用了多少個reduce 作業提交時間 作業啟動時間 作業完成時間等資訊。預設情況下，hadoop歷史伺服器是沒有啟 動的，我們可以通過下面的命令來啟動hadoop歷史伺服器 sbi...