常用的spark監控系統有，web ui和spark的history-server
一，web介面
1，介面的基本介紹
每乙個spark應用程式都會啟動乙個spark ui，預設埠是4040埠，用於展示對應用程式有用的資訊。包括以下資訊：
1)，stages和tasks列表。
2)，rdd大小的總概和記憶體使用。
3)，執行環境資訊。
4)，執行的executors狀態。
你可以在瀏覽器輸入： http://:4040訪問該介面。如果多個sparkcontexts在同一臺主機上執行，則它們將以4040（4041，4042等）開始繫結到連續的埠。請注意，預設情況下，這些資訊只會在程式執行期間可以檢視。在程式執行結束後檢視webui，需要在啟動應用程式前設定spark.eventlog.enabled為true。這配置spark會將顯示在web ui上的spark events儲存到儲存系統中去。
2，spark的historyserver
只要應用程式的事件日誌存在，仍然可以通過spark的歷史記錄伺服器構建應用程式的ui。通過執行下面的命令，啟動歷史伺服器：
./sbin/start-history-server.sh
預設情況下，這將在http：// ：18080建立乙個web介面，列出未完成和已完成的應用程式和嘗試。
如何配置spark的historyserver
官網：
1、更改spark-default.conf
spark.eventlog.enabled true
spark.eventlog.dir hdfs://命名空間/(hdfs上建立乙個目錄)
2、更改spark-env.sh
spark_history_opts="-dspark.history.fs.logdirectory= hdfs://命名空間/(hdfs上建立乙個目錄)"
http://hadoop000:18080/ 啟動即可
spark監控配置
通過rest api進行監控 預設情況下，每個sparkcontext都會在埠4040上啟動web ui，以顯示有關應用程式的有用資訊。這包括 只需http 4040在web瀏覽器中開啟即可訪問此介面。如果多個sparkcontexts在同一主機上執行，它們將繫結到以4040 4041,4042等 ...
Spark入門 常用Spark監控Tab
最近用spark做任務，中間來回配置集群環境，檢視配置後的效果，以及監測程式執行過程中的執行進度等，需要頻繁檢視webui的幾個tab。各個tab功能不一，從不同方面顯示了spark的各方面效能引數和執行進度。特意記錄一下，方便以後用得到的時候能夠快速回顧知識點。第乙個tab是在配置好hadoop之...
使用Prometheus監控Spark任務
目前spark支援graphite打點，但是graphite缺省會為每個打點生成對應的檔案，直接只有兩個點資料，graphite生成的檔案也有200多k，對graphite造成很大的壓力。所以考慮使用prometheus來代替graphite。prometheus的打點預設是pull模式，和grap...