配置日誌聚集

所謂日誌聚集，就是指應用執行完以後，將程式的執行日誌資訊上傳到hdfs系統上。日誌聚集可以方便的檢視程式的執行詳情，方便開發除錯。

開啟日誌聚集，需要重啟nodemanager、resourcemanager和historymanager。

yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
604800

$ sbin/yarn-daemon.sh stop resourcemanager

$ sbin/yarn-daemon.sh stop nodemanager

$ sbin/yarn-daemon.sh stop historyserver

3. 重新開啟nodemanager、resourcemanager和historymanager。

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

$ sbin/yarn-daemon.sh start historyserver

4.刪除hdfs上已經存在的輸出檔案

$ bin/hdfs dfs -rm -r /user/hadoop1/output

5.執行wordcount案例

hadoop配置檔案分為兩類：預設配置檔案和自定義配置檔案，當使用者想修改某一預設配置值時，需要修改自定義配置檔案。

1. 預設配置檔案

2. 自定義配置檔案

core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml四個配置檔案存放在$hadoop_home/etc/hadoop路徑下，並且自定義配置檔案的優先順序高（覆蓋預設配置）。

yarn 日誌聚集配置

日誌聚集是yarn提供的日誌 化管理功能，它能將執行完成的container 任務日誌上傳到hdfs上，從而減輕nodemanager負載，且提供乙個 化儲存和分析機制。預設情況下，container 任務日誌存在在各個nodemanager上，如果啟用日誌聚集功能需要額外的配置。1 yarn.lo...

YARN的日誌聚集配置使用

說明 修改路徑 hadoop etc hadoop下的yarn site.xml。新增兩個屬性並儲存上傳伺服器。屬性1 表示在yanr上開啟聚合日誌服務。屬性2 表示聚合日誌在伺服器上的存留時間。sbin yarn daemon.sh start resourcemanager sbin yarn ...

hadoop配置歷史伺服器 配置日誌聚集

配置歷史伺服器 1 在mapred site.xml中寫入一下配置 property name mapreduce.jobhistory.address name value hadoop101 10020 value property property name name value hadoop...