spark效能優化的10大問題及其解決方案
問題1：reduce task數目不合適
解決方式：
需根據實際情況調節預設配置，調整方式是修改引數spark.default.parallelism。通常，reduce數目設定為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷；數目太少，任務執行緩慢。
問題2：shuffle磁碟io時間長
解決方式：
設定spark.local.dir為多個磁碟，並設定磁碟為io速度快的磁碟，通過增加io來優化shuffle效能；
問題3：map|reduce數量大，造成shuffle小檔案數目多
解決方式：
預設情況下shuffle檔案數目為map tasks * reduce tasks
通過設定spark.shuffle.consolidatefiles為true，來合併shuffle中間檔案，此時檔案數為reduce tasks數目；
問題4：序列化時間長、結果大
解決方式：
spark預設使.用jdk.自帶的objectoutputstream，這種方式產生的結果大、cpu處理時間長，可以通過設定spark.serializer為org.apache.spark.serializer.kryoserializer。
另外如果結果已經很大，可以使用廣播變數；
問題5：單條記錄消耗大
解決方式：
問題6 : collect輸出大量結果時速度慢
解決方式：
collect原始碼中是把所有的結果以乙個array的方式放在記憶體中，可以直接輸出到分布式?檔案系統，然後檢視檔案系統中的內容；
問題7: 任務執行速度傾斜
解決方式：
如果是資料傾斜，一般是partition key取的不好，可以考慮其它的並行處理方式 ，並在中間加上aggregation操作；
如果是worker傾斜，例如在某些worker上的executor執行緩慢，可以通過設定spark.speculation=true 把那些持續慢的節點去掉；
問題9: 通過多步驟的rdd操作後有很多空任務或者小任務產生
解決方式：
使用coalesce或repartition去減少rdd中partition數量；
問題10：spark streaming吞吐量不高
解決方式：
可以設定spark.streaming.concurrentjobs
Spark效能優化的10大問題及其解決方案
問題1 reduce task數目不合適 解決方式 需根據實際情況調節預設配置，調整方式是修改引數spark.default.parallelism。通常，reduce數目設定為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷 數目太少，任務執行緩慢。問題2 shuffle磁碟i...
spark的效能優化
因為之前在tesla集群上申請了1000個節點被噴之後，現在只敢申請100個節點，後來導致乙個嚴重的結果，自從100節點以來再也沒有跑出結果。進而意識到了spark優化的重要性，現再次總結一下 1.乙個通用的調整並行度的方式 首先要明確乙個概念，hadoop為每乙個partition建立乙個task...
產品經理的6大問題
產品經理有時做產品很迷茫，不知道自己做的產品到底幹嘛的，有時做到一半時或者遇到難題時才反過來思考自己做的產品到底是幹什麼的，哪類使用者會去用，使用者會喜歡嗎 當這一切問題煩繞著自己時，才發現迷失在產品怪圈裡了。當然不排除很多產品的需求來自市場 來自於boss敲板定的，但你是產品經理，當你都沒辦法說服...