用hive算資料的時候reduce階段卡在99.99%
用sparkstreaming做實時演算法時候，一直會有executor出現oom的錯誤，但是其餘的executor記憶體使用率卻很低。
資料傾斜有乙個關鍵因素是資料量大，可以達到千億級。
以hadoop和spark是最常見的兩個計算平台，下面就以這兩個平台說明：
hadoop中直接貼近使用者使用使用的時mapreduce程式和hive程式，雖說hive最後也是用mr來執行（至少目前hive記憶體計算並不普及），但是畢竟寫的內容邏輯區別很大，乙個是程式，乙個是sql，因此這裡稍作區分。
hadoop中的資料傾斜主要表現在ruduce階段卡在99.99%，一直99.99%不能結束。
這裡如果詳細的看日誌或者和監控介面的話會發現：
有乙個多幾個reduce卡住
各種container報錯oom
讀寫的資料量極大，至少遠遠超過其它正常的reduce
伴隨著資料傾斜，會出現任務被kill等各種詭異的表現。
經驗： hive的資料傾斜，一般都發生在sql中group和on上，而且和資料邏輯繫結比較深。
spark中的資料傾斜也很常見，這裡包括spark streaming和spark sql，表現主要有下面幾種：
executor lost，oom，shuffle過程出錯
driver oom
單個executor執行時間特別久，整體任務卡在某個階段不能結束
正常執行的任務突然失敗
補充一下，在spark streaming程式中，資料傾斜更容易出現，特別是在程式中包含一些類似sql的join、group這種操作的時候。 因為spark streaming程式在執行的時候，我們一般不會分配特別多的記憶體，因此一旦在這個過程**現一些資料傾斜，就十分容易造成oom。
1、資料傾斜產生的原因
我們以spark和hive的使用場景為例。他們在做資料運算的時候會設計到，countdistinct、group by、join等操作，這些都會觸發shuffle動作，一旦觸發，所有相同key的值就會拉到乙個或幾個節點上，就容易發生單點問題。
2、萬惡的shuffle
shuffle是乙個能產生奇蹟的地方，不管是在spark還是hadoop中，它們的作用都是至關重要的。那麼在shuffle如何產生了資料傾斜？
hadoop和spark在shuffle過程中產生資料傾斜的原理基本類似。如下圖。
大部分資料傾斜的原理就類似於下圖，很明了，因為資料分布不均勻，導致大量的資料分配到了乙個節點。
資料往往和業務是強相關的，業務的場景直接影響到了資料的分布。再舉乙個例子，比如就說訂單場景吧，我們在某一天在北京和上海兩個城市多了強力的推廣，結果可能是這兩個城市的訂單量增長了10000%，其餘城市的資料量不變。然後我們要統計不同城市的訂單情況，這樣，一做group操作，可能直接就資料傾斜了。
資料傾斜的產生是有一些討論的，解決它們也是有一些討論的，本章會先給出幾個解決資料傾斜的思路，然後對hadoop和spark分別給出一些解決資料傾斜的方案。
1.業務邏輯，我們從業務邏輯的層面上來優化資料傾斜，比如上面的例子，我們單獨對這兩個城市來做count，最後和其它城市做整合。
2.程式層面，比如說在hive中，經常遇到count（distinct）操作，這樣會導致最終只有乙個reduce，我們可以先group 再在外麵包一層count，就可以了。
3.調參方面，hadoop和spark都自帶了很多的引數和機制來調節資料傾斜，合理利用它們就能解決大部分問題。
很多資料傾斜都是在資料的使用上造成的。我們舉幾個場景，並分別給出它們的解決方案。
資料分布不均勻：
前面提到的「從資料角度來理解資料傾斜」和「從業務計角度來理解資料傾斜」中的例子，其實都是資料分布不均勻的型別，這種情況和計算平台無關，我們能通過設計的角度嘗試解決它。
有損的方法：
找到異常資料，比如ip為0的資料，過濾掉
無損的方法：
對分布不均勻的資料，單獨計算
先對key做一層hash，先將資料打散讓它的並行度變大，再匯集
•資料預處理
列出來一些方法和思路，具體的引數和用法在官網看就行了。
1.mapjoin方式
2.count distinct的操作，先轉成group，再count
3.hive.groupby.skewindata=true
4.left semi jioin的使用
5.設定map端輸出、中間結果壓縮。（不完全是解決資料傾斜的問題，但是減少了io讀寫和網路傳輸，能提高很多效率）
列出來一些方法和思路，具體的引數和用法在官網看就行了。
1.mapjoin方式
2.設定rdd壓縮
3.合理設定driver的記憶體
4.spark sql中的優化和hive類似，可以參考hive
**：
大資料 「資料傾斜」的問題
解決資料傾斜的辦法，前輩已經寫得非常完整了，我這裡就直接搬磚吧 建議先看這個鏈結文章，非常好 下面是自己的總結 什麼是資料傾斜？見下圖 簡單來說資料傾斜就是資料的key 的分化嚴重不均，造成一部分資料很多，一部分資料很少的局面。舉個 word count 的入門例子 它的map 階段就是形成 aaa...
大資料開發 常見問題（3）
q 在大資料開發套件 運維中心中檢視任務，顯示全部失敗？a 因為任務中配置了上游依賴，上游任務跑失敗了，導致下游任務無法繼續。q ads 支援 if ifnull 關鍵字嗎？a 不支援，您可以用 case when coalesce 代替，另外，若是含 group by的 sql 語句中必須有聚合函...
大資料開發 常見問題（1）
q.如何檢視實時的專案占用儲存多少?a.執行 desc projec t extended project name 語句進行檢視 q.資料同步時，如何進行增量同步？a.具體操作可參考 資料增量同步文件 q.如果之前提交的任務修改後再次提交，是否會影響當天的任務排程?a.根據修改的內容來確定是否會影...