Spark History server配置使用

2021-09-16 12:08:14 字數 1078 閱讀 4768

啟動historyserver

spark history server可以很好地解決上面的問題。

通過配置，我們可以在spark應用程式執行完成後，將應用程式的執行資訊寫入指定目錄，而spark history server可以將這些資訊裝在並以web形式供使用者瀏覽。

下面以spark on yarn模式為例進行配置說明

採用如下命令建立用於儲存spark events的目錄

hadoop fs -mkdir /tmp/spark-logs


hadoop fs -chmod -r 777 /tmp/spark-logs
在$/conf目錄下的spark-defaults.conf配置檔案中新增如下配置：

# configuring spark history server


spark.eventlog.enabled           	true


spark.eventlog.dir             	 	hdfs://hadoopsvr1:8020/tmp/spark-logs


spark.yarn.historyserver.address	hadoopsvr1:18080
在$/conf目錄下的spark-env.sh配置檔案中新增如下配置：

export spark_history_opts=


"-dspark.history.ui.port=18080 -dspark.history.fs.logdirectory=hdfs://hadoopsvr1:8020/tmp/spark-logs -dspark.history.fs.cleaner.enabled=true"
相關配置引數可參考：

啟動spark的start-all.sh後，再執行start-history-server.s**件即可啟動歷史服務。

start-history-server.sh
應用程式執行時的4040和歷史記錄的18080webui配合使用，可以讓我們在執行spark應用的時候隨時監測程式執行狀態，並作相應的優化和調節，效果顯著。

spark history server配置使用

這時候就需要為集群配置spark history server了。注 可以是主機名，如master，也可以是主機名對應的ip。spark history server可以很好地解決上面的問題。通過配置，我們可以在spark應用程式執行完成後，將應用程式的執行資訊寫入知道目錄，而spark histo...

spark history server配置使用

這時候就需要為集群配置spark history server了。注 可以是主機名，如master，也可以是主機名對應的ip。spark history server可以很好地解決上面的問題。通過配置，我們可以在spark應用程式執行完成後，將應用程式的執行資訊寫入知道目錄，而spark histo...

Spark History Server 沒有生效

spark 提供了 web ui 來對 spark 應用進行監控。只要開啟 http 4040 就可以看到該頁面。如果有多個 sparkcontext 執行在同乙個主機上，將會從埠 4040，4041，4042 依次占用。不過預設情況下，只在有應用執行期間這些資訊才會存在。應用執行完畢，就無法檢視了...