Spark 2 2 日誌伺服器搭建

2021-08-14 16:12:37 字數 1356 閱讀 3586

對於mapreduce的historyserver只能記錄mr的執行log，因此對於spark需要單獨部署自己的historyserver。

1.確認spark已經完成安裝，且環境變數已如下設定

[hadoop@hadoop02 conf]$ echo $spark_home
由於本環境hadoop集群為ha，所以下面中的hadoopha為ha的名字，也可以用hadoop01:9000的方式指定namenode節點。

log的目錄必須先建立好。

spark.master                     yarn


spark.eventlog.enabled           true


spark.eventlog.dir               hdfs://hadoopha/spark/directory


spark.history.fs.logdirectory    hdfs://hadoopha/spark/historylog
2 日誌伺服器的啟動指令碼在$spark_home/sbin下，start-history-server.sh

這裡我們關心的是日誌伺服器讀取的配置資訊從哪獲取？通過分析原始碼，發現主要從spark-config.sh和load-spark-env.sh中獲取，但最終是來自spark-defaults.conf和spark-env.sh。

if [ -z "$" ]; then


export spark_home="$(cd "`dirname "$0"`"/..; pwd)"


fi#$spark_home字元長度不為0，因此if語句不執行


3 由於spark-defaults.conf中配置的hadoopha，而不是直接指定namenode節點，所以spark-env.sh必須包含


4 啟動後的介面如下


表示啟動成功，程序名字為historyserver

				
Centos7日誌伺服器
1 日誌的功能 1 用於記錄系統 程式執行中發生的各種事件 2 通過閱讀日誌，有助於診斷和解決系統故障 2 日誌檔案的分類 1 核心及系統日誌 2 使用者日誌 3 程式日誌 3 日誌的預設儲存位置 var log 4 管理日誌的服務 rsyslogd root localhost vim etc r...

				
Centos7日誌伺服器配置
客戶端需修改檔案位於 etc rsyslog.conf 只需要把尾部 remote host 514刪除 並把 替換為 remote host 替換為日誌伺服器主機 ip即可 注 日誌預設使用 udp協議，使用 則使用 tcp協議。伺服器端修改修改 etc rsyslog.conf 檔案以及 etc...

				
搭建日誌伺服器
本人用了兩個centos7虛擬機器，乙個作為客戶端，乙個作為伺服器，搭建了乙個日誌伺服器，步驟如下 1.客戶端 172.20.10.8 修改 etc rsyslog.conf 新增 syslog.info server ip 如圖所示 2.日誌伺服器 172.20.10.7 修改 etc sysco...