**:
問題1：reduce task數目不合適
解決方式：
需根據實際情況調節預設配置，調整方式是修改引數spark.default.parallelism。通常，reduce數目設定為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷；數目太少，任務執行緩慢。
問題2：shuffle磁碟io時間長
解決方式：
設定spark.local.dir為多個磁碟，並設定磁碟為io速度快的磁碟，通過增加io來優化shuffle效能；
問題3：map|reduce數量大，造成shuffle小檔案數目多
解決方式：
預設情況下shuffle檔案數目為map tasks * reduce tasks
通過設定spark.shuffle.consolidatefiles為true，來合併shuffle中間檔案，此時檔案數為reduce tasks數目；
問題4：序列化時間長、結果大
解決方式：
spark預設使.用jdk.自帶的objectoutputstream，這種方式產生的結果大、cpu處理時間長，可以通過設定spark.serializer為org.apache.spark.serializer.kryoserializer。
另外如果結果已經很大，可以使用廣播變數；
問題5：單條記錄消耗大問題6 : collect輸出大量結果時速度慢
解決方式：
collect原始碼中是把所有的結果以乙個array的方式放在記憶體中，可以直接輸出到分布式?檔案系統，然後檢視檔案系統中的內容；
問題7: 任務執行速度傾斜
解決方案：
如果資料傾斜，一般是partition key取得不好，可以考慮其他的並行處理方式，並在中間加上aggregation操作；如果是worker傾斜，例如在某些worker上的executor執行緩慢，可以通過設定spark.speculation=true 把那些持續慢的節點去掉；
使用場景:
乙個stage有10個task：task0~task9，分別分配到了worker0~worker9上去執行計算，其中task0~task8都只用了5s就執行成功返回了，而由於worker9本身可能由於cpu資源長期被別的執行緒占用、磁碟io緩慢等緣故，造成了task9執行緩慢，遲遲不返回，於是這個stage只能慢慢等待task9的返回。也就是整個stage的執行時間被這個task9給拖後腿了。
而如果排程端如果引入了speculatable策略，那麼上述事件的實際情況被改善為：
step1：tasksetmanager在task0~task8成功返回後，過了一段時間檢測到task9遲遲沒有返回，於是認定task9：***的是個speculatabletask；
step2：tasksetmanager此時沒有task需要排程，而且此時有speculatabletask，所以排程器決定再次排程一下task9，利用和普通task一樣的排程策略將task9分發到某台機器上，不過這次不會讓task9在worker9上排程了。假設新的task9排程到了worker0。
step3：這時，計算集群上就有了兩個同時執行的task9。在worker0上的task9執行了5s成功返回了，這時候tasksetmanager接收到task9的成功狀態，由於10個task都執行完了tasksetmanager自己標識為執行完成。
ps：而那個在worker9上依然慢慢執行的task9就沒什麼用了，worker上的executor會用failed的形式。
問題8: 通過多步驟的rdd操作後有很多空任務或者小任務產生
解決方案：
使用coalesce或者repartition去減少rdd中partition數量；
問題9: 通過多步驟的rdd操作後有很多空任務或者小任務產生
解決方式：
使用coalesce或repartition去減少rdd中partition數量；
問題10：spark streaming吞吐量不高
解決方式：
可以設定spark.streaming.concurrentjobs
Spark效能優化的10大問題及其解決方案
spark效能優化的10大問題及其解決方案 問題1 reduce task數目不合適 解決方式 需根據實際情況調節預設配置，調整方式是修改引數spark.default.parallelism。通常，reduce數目設定為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷 數目太少...
spark的效能優化
因為之前在tesla集群上申請了1000個節點被噴之後，現在只敢申請100個節點，後來導致乙個嚴重的結果，自從100節點以來再也沒有跑出結果。進而意識到了spark優化的重要性，現再次總結一下 1.乙個通用的調整並行度的方式 首先要明確乙個概念，hadoop為每乙個partition建立乙個task...
產品經理的6大問題
產品經理有時做產品很迷茫，不知道自己做的產品到底幹嘛的，有時做到一半時或者遇到難題時才反過來思考自己做的產品到底是幹什麼的，哪類使用者會去用，使用者會喜歡嗎 當這一切問題煩繞著自己時，才發現迷失在產品怪圈裡了。當然不排除很多產品的需求來自市場 來自於boss敲板定的，但你是產品經理，當你都沒辦法說服...