spark 提供了 web ui 來對 spark 應用進行監控。
只要開啟 http://:4040 就可以看到該頁面。如果有多個 sparkcontext 執行在同乙個主機上，將會從埠 4040，4041， 4042 依次占用。
不過預設情況下，只在有應用執行期間這些資訊才會存在。應用執行完畢，就無法檢視了。如果想要在應用執行完畢後還能夠檢視 web ui，需要在啟動應用前設定spark.eventlog.enabled為 true。這個選項會將 web ui 的資訊進行持久化。
將以下資訊寫入到etc/spark-defaults.conf：
spark.eventlog
.enabled true
spark.eventlog
.dir file:/home/hadoop/data/spark/spark-logs
spark.history
.fs.logdirectory file:/home/hadoop/data/spark/spark-logs
hdfs dfs -mkdir /eventlog在 hdfs 中建立目錄，然後設定 spark-defaults.conf:
參考:
nginx s reload 沒有生效
檢查 var log nginx error.log notice 29410 0 signal process started emerg 2999 0 bind to 0.0.0.0 9091 failed 13 permission denied 如果出現此情況，根據報錯內容分析 原因seli...
flex彈性布局沒有生效
display webkit flex 新版本語法 chrome 21 display webkit box 老版本語法 safari,ios,android browser,older webkit browsers.display moz box 老版本語法 firefox buggy disp...
spark history server配置使用
這時候就需要為集群配置spark history server了。注 可以是主機名，如master，也可以是主機名對應的ip。spark history server可以很好地解決上面的問題。通過配置，我們可以在spark應用程式執行完成後，將應用程式的執行資訊寫入知道目錄，而spark histo...