hadoop自帶了乙個歷史伺服器,可以通過歷史伺服器檢視已經執行完的
mapreduce作業記錄,比如用了多少個map、用了多少個reduce、作業提交時間、
作業啟動時間、作業完成時間等資訊。預設情況下,hadoop歷史伺服器是沒有啟
動的,我們可以通過下面的命令來啟動hadoop歷史伺服器
$> sbin/
開啟jobhistory程序執行:mr-jobhistory-daemon.sh start historyserver
關閉jobhistory程序執行:mr-jobhistory-daemon.sh stop historyserver
配置歷史伺服器
為了檢視程式的歷史運**況,需要配置一下歷史伺服器。具體配置步驟如下:
1、配置mapred-site.xml $hadoop_home/etc/hadoop下的sbin裡
mapreduce.jobhistory.address master:10020
啟動歷史伺服器
$>mr-jobhistory-daemon.sh start historyserver
檢視jobhistorywebui
說明:該功能實際開發過程中需要開啟。學習測試的時候不用開啟,影響效能。
在hadoop歷史伺服器的web ui上最多顯示20000個歷史的作業記錄資訊;
其實我們可以通過下面的引數進行配置,然後重啟一下hadoop jobhistory即可
注:歷史記錄最大數
mapreduce.jobhistory.joblist.cache.size
20000
hdfs-site.xml(每次修改後需要重啟hdfs,並且分發所有節點)
注:(副本數)
dfs.replication
2測試是否副本在2臺datanode中,(上傳檔案檢視hdfs)
copy.sh
#!/bin/bash
echo bengincopy!
for((i=1; i<=2; i++))
echo endcopy!
copy.sh 給它許可權
執行 ./copy.sh
Hadoop配置歷史伺服器
配置歷史伺服器 為了檢視程式的歷史運 況,需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...
hadoop配置歷史伺服器
1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...
hadoop歷史伺服器搭建
為了檢視程式的歷史運 況,需要配置一下歷史伺服器。具體配置步驟如下 1.配置mapred site.xml vi mapred site.xml,在該檔案裡面增加如下配置。mapreduce.jobhistory.address hadoop101 10020 hadoop101 19888 2.分...