spark會提供乙個web ui，使用者可以通過此ui對檢視作業的相關資訊，例如：stages 和 tasks的排程、rdd使用記憶體情況、環境變數 以及 executors的執行資訊。但是當作業執行完就沒辦法在檢視相關的資訊。但我們我可以通過spark』s history server檢視這些以及執行完畢的作業資訊。
1、如何開啟？
1.1、修改 spark-defaults.conf ，增加如下配置
#開啟eventlog
spark.eventlog.enabled true
#設定eventlog目錄
spark.eventlog.dir hdfs://hadoop001:9000/spark-logs1.2、修改 spark-env.sh，增加如下配置#設定需要被展示的eventlog目錄
spark_history_opts="-dspark.history.fs.logdirectory= hdfs://hadoop001:9000/spark-logs"1.3 開啟spark's history server
./sbin/start-history-server.sh備註：當 applications 退出的時候，沒有呼叫sc.stop的時候，就算applications執行成功，也不會顯示到 completed applications 的標籤，所以寫**的時候一定要呼叫sc.stop!!!
2、比較重要的幾個引數
spark.eventlog.compress? //是否對日誌進行壓縮，預設 false
spark.io.compression.codec? //指定壓縮型別
spark.history.fs.update.interval //心跳間隔，預設 10s
spark.history.fs.cleaner.enabled //是否自動清理history server的歷史日誌，預設 false
spark.history.fs.cleaner.interval //多久檢查一次history server的歷史日誌，預設 1d
spark.history.fs.cleaner.maxage //清楚多久前的日誌，預設 7d
雲計算大會之雲計算應用
中國移動發布大雲 大雲產品包括並行資料探勘工具 分布式海量資料倉儲 彈性計算系統 雲儲存系統 平行計算執行環境共五種產品。亞馬遜網路服務 amazon webservices,aws google地球 地圖 gmail docs等 微軟 windows azure 雲計算作業系統 salesforc...
雲計算簡史 雲計算知識簡史
高聳入雲的建築雲端應用open stack 智慧型政務 雲計算賦能傳統政務公升級 服務 目前，我國電子政務體系正沿著最初的 兩網 一站 四庫 十二金 的設想穩步發展，以公民為中心 的理念正在深入人心 我國智慧型政務發展現狀 資訊基礎設施初步完善，軟硬體裝置投資逐步增加 通過頂層規劃和政務平台建設，提...
linux雲計算基礎（雲計算介紹）
什麼是雲計算 能夠為其它計算機提供服務的更高階的電腦 他有四種樣式 機架式 塔式 機櫃式 刀片式 典型的服務模式 c s，client server架構 由伺服器提供資源或某種功能 客戶機使用資源或功能 tcp ip是最廣泛支援的通訊協議集合 包括大量internet應用中的標準協議 支援跨網路架構...