通過rest api進行監控
預設情況下，每個sparkcontext都會在埠4040上啟動web ui，以顯示有關應用程式的有用資訊。這包括：
只需http://:4040在web瀏覽器中開啟即可訪問此介面。如果多個sparkcontexts在同一主機上執行，它們將繫結到以4040（4041,4042等）開頭的連續埠。
請注意，此資訊僅在應用程式的預設時間內可用。要在事後檢視web ui，請spark.eventlog.enabled在啟動應用程式之前設定為true。這會將spark配置為記錄spark事件，該事件將ui中顯示的資訊編碼為持久儲存。
#開啟事件日誌記錄
spark.eventlog.enabled true
#設定事件日誌的儲存位置，可以是hdfs或本地檔案系統
#注意這個路徑必須提前在檔案系統中存在，不然spark 應用程式會直接報錯
spark.eventlog.dir hdfs://namenode:8020/spark/history
#讀取事件日誌的路徑，應與spark.eventlog.dir的路徑保持一直
spark_history_opts="-dspark.history.fs.logdirectory=hdfs://namenode:8020/spark/history"
sbin/start-history-server.shsbin/stop-history-server.shSpark入門 常用Spark監控Tab
最近用spark做任務，中間來回配置集群環境，檢視配置後的效果，以及監測程式執行過程中的執行進度等，需要頻繁檢視webui的幾個tab。各個tab功能不一，從不同方面顯示了spark的各方面效能引數和執行進度。特意記錄一下，方便以後用得到的時候能夠快速回顧知識點。第乙個tab是在配置好hadoop之...
Spark的監控系統
常用的spark監控系統有，web ui和spark的history server 一，web介面 1，介面的基本介紹 每乙個spark應用程式都會啟動乙個spark ui，預設埠是4040埠，用於展示對應用程式有用的資訊。包括以下資訊 1 stages和tasks列表。2 rdd大小的總概和記憶體...
使用Prometheus監控Spark任務
目前spark支援graphite打點，但是graphite缺省會為每個打點生成對應的檔案，直接只有兩個點資料，graphite生成的檔案也有200多k，對graphite造成很大的壓力。所以考慮使用prometheus來代替graphite。prometheus的打點預設是pull模式，和grap...