spark web ui
1. 哪些作業在跑
2. 哪些作業跑完了 ，花費了多少時間和資源
3. 哪些作業失敗了
可以看到job/、stage/、task的詳細資訊，shuffle read、shuffle writer、gc、執行時間，每個task分配的資料量
通過它可以定位很多效能問題，troubleshooting等等，task資料分布不均勻，那麼就是資料傾斜
哪個stage執行的最慢，通過stage劃分演算法，就可以去你的**中定位到，那個stage對應的是哪一塊**，尋找原因，看是否可以效能優化
但是有個問題，當作業執行完了後，這個就看不到了，此時和history server有關，此時得配置history server
日誌記錄
1. 系統級別的，spark自己的日誌記錄
2. 我們程式裡面，用log4j，或者system.out.println（）列印出來的日誌
這個預設是在spark_home/worker目錄下的
這個目錄下，每個作業都有倆個檔案，乙個是stdout,乙個是stderr,分別代表了標準輸出流和異常輸出流
stdout可以顯示我們用system.out.println列印出來的日誌，stderr,可以顯示我們用system.err.println列印出來的日誌
五 standalone執行模式
在上文中我們知道spark的集群主要有三種執行模式standalone yarn mesos，其中常被使用的是standalone和yarn，本文了解一下什麼是standalone執行模式，它的執行流程是怎麼樣的。standalone模式，是spark自己實現的，它是乙個資源排程框架。這裡我們要關注...
轉殖方式靜默安裝standalone
上次用tar包config了乙個rac，但是config調的是圖形介面。這次再看了下config的引數，靜默安裝成功了。1.tar打包grid home並解壓到新環境的grid home下 2.更新集群配置 oracle home oui bin runinstaller updatenodelis...
spark以standalone執行時的日誌清理
spark執行任務的日誌一直沒太大關注，原因是硬碟資源充足，除非任務出錯時才去看一下，但沒有清理這些日誌的習慣。直到最近遇到的乙個問題是，硬碟資源嚴重缺乏，不得不需要定時去清理日誌。第一時間去看下spark本身的配置，是否支援定時清理日誌的選項，畢竟spark那麼成熟，相信很多人都面臨過這樣的問題。...