Spark 傾斜連線

【資料傾斜出現的原因】

平行計算中,我們總希望分配的每乙個任務(task)都能以相似的粒度來切分,且完成時間相差不大。但是由於集群中的硬體和應用的型別不同、切分的資料大小不一,總會導致部分任務極大地拖慢了整個任務的完成時間，資料傾斜原因如下：

資料傾斜的表現：任務進度長時間維持,檢視任務監控頁面,由於其處理的資料量與其他任務差異過大,會發現只有少量(1個或幾個)任務未完成。

【資料傾斜的解決方案】

資料傾斜有很多解決方案,本例簡要介紹一種實現方式。假設表a和表b連線,表a資料傾斜,只有乙個key傾斜。首先對a進行取樣,統計出最傾斜的key。將a表分隔為a1只有傾斜key,a2不包含傾斜key,然後分別與b連線。

【資料例項】

我們要實現上面兩個表的連線，很容易發現在table1中（1，tom）出現的次數明顯比其他的鍵值對要多，是傾斜資料。通過處理我們要把它拆分成兩部分，如上圖所示。然後這兩部分分別與table2做連線操作，最後把結果彙總到一起。

【spark **】

package

spark23

import

org.apache.spark.45

/**6

* created by liu jinhong on 2016/5/27.7*/

8object tiltjoin

27 }

【涉及到的函式】

val maxrowkey = sample.map(x => (x._2, x._1)).sortbykey(false).take(1).toseq(0)._2

上訴**相當於實現了按照value降序排序。