這裡的每個批處理任務間隔是10s一次，所以total delay是14s，那麼對於下乙個批處理任務來說就是延遲了14 - 10 = 4s 。
total delay - 每個批處理任務設定的間隔 = scheduling delay
scheduling delay + processing time = total delay
簡易調優策略：設定每個批處理任務間隔時間 >= proceesing time（實際執行時間）
點選時間戳進入：
點選「job id」檢視具體的task執行狀況：
只有乙個executor執行了1.3min，其他都是毫秒級，而spark的運算效能是以最慢那個作為最終的運算時間，這說明其他的executor並沒有做運算。
解決辦法：對rdd做一次reparation即可。
rdd=rdd
.repartition(10
);
spark調優 shuffle調優
基於spark1.6 引數可以通過 new sparkcontext set 來設定，也可以通過命令的引數設定 conf spark.shuffle.file.buffer 預設值 32k 引數說明 該引數用於設定shuffle write task的bufferedoutputstream的buf...
spark調優 shuffle調優
每乙個shuffle的前半部分stage的task，每個task都會建立下乙個stage的task數量相同的檔案，比如下乙個stage會有100個task,那麼當前stage每個task都會建立100份檔案，會將同乙個key對應的values,一定是寫入同乙個檔案中的，也一定會將同乙個key對應的v...
spark調優 並行度調優
乙個job的劃分為乙個action操作觸發 乙個job可以被分為多個stage，在乙個lineage中，發生shuffle操作時會拆分乙個stage，shuffle操作一般發生在以下的幾個運算元中，distinct groupbykey reducebykey aggregatebykey join...