目錄結構為：
一．spark的部署方式standalone、yarn、mesos. 21.
standalone.2
2.mesos.3
3.yarn..3
二．standalone部署下的driver，master和work如何啟動... 41.
master
的啟動...42.
work
的啟動...
123.
driver
的啟動...
194.
流程圖...
24三. spark context的初始化...
2424
2.excutor的啟動...
343.流程圖...
40四.詳解rdd.
401.rdd的基本組成...
402.rdd的transformation和action.
433.rdd的依賴...
44五.job的提交...
441.dependency、stage和task的劃分...
442.job的具體執行過程...
453.job的執行過程的日誌列印...
623.1 dag圖
623.2 driver端日誌：...
6264
1.job排程的類結構...
652.fair排程的資源池組成...
663.fair排程原理解析...
693.1 tasksetmanager的提交...
693.2 tasksetmanager的排程...
71七.blockmanager（分布式快取的實現）...
831．rdd的儲存等級...
832．driver和excutor的互動...
852.1 driver接受excutor指令的過程：...
852.2 excutor接受driver指令的過程：...
862.3 excutor和excutor之間相互接受指令的過程：...
873．block的生成過程（rdd如何遍歷其分割槽資料）...
874. 廣播變數的原理...
894.1 廣播變數如何儲存...
894.2 廣播變數如何讀取...
90八.詳解shuffle.
921．當前後rdd的分割槽函式相等時...
952．當前後rdd的分割槽函式不相等時...
982.1 hashshufflemanager.
1012.1.1shufflewrite.
1012.1.2shuffleread.
1032.1.3 流程圖...
1042.1.3.1consolidateshufflefiles=true.
1042.1.3.2consolidateshufflefiles=false.
1062.2 sortshufflemanager.
1062.2.1shufflewrite.
1062.2.2shuffleread.
1112.2.2 流程圖...
111九.詳解rdd的checkpoint機制...
1121
．rddcheckpoint
資料的寫入
...1132．
rddcheckpoint
資料的讀取
...115
十.spark-streaming.
1161
．kafka
和spark-streaming
結合的receiver
方式，不開啟
wal功能
...117
1.1 driver端啟動流程...
1171.2 receiver端啟動流程...
1251.3 driver端和receiver端的互動...
1342. kafka
和spark-streaming
結合的receiver
方式，開啟
wal功能
...135
2.1 receiver端流程...
1372.2 driver端流程...
1492.3 receiver和dirver端的互動...
1532.4 spark-streaming恢復流程...
1543. kafka
和spark-streaming
結合的direct
方式...
1593.1 receiver不存在...
1613.2 job如何提交...
161
《原始碼閱讀》原始碼閱讀技巧,原始碼閱讀工具
檢視某個類的完整繼承關係 選中類的名稱，然後按f4 quick type hierarchy quick type hierarchy可以顯示出類的繼承結構，包括它的父類和子類 supertype hierarchy supertype hierarchy可以顯示出類的繼承和實現結構，包括它的父類和...
原始碼閱讀 Glide原始碼閱讀之with方法（一）
前言 本篇基於4.8.0版本 原始碼閱讀 glide原始碼閱讀之with方法 一 原始碼閱讀 glide原始碼閱讀之load方法 二 原始碼閱讀 glide原始碼閱讀之into方法 三 大多數情況下，我們使用glide 就一句 但是這一句 裡面蘊含著成噸的 with方法有以下幾個過載方法 publi...
原始碼閱讀 Glide原始碼閱讀之load方法（二）
原始碼閱讀 glide原始碼閱讀之load方法 二 原始碼閱讀 glide原始碼閱讀之into方法 三 首先，load方法有以下幾個過載方法 public requestbuilder load nullable bitmap bitmap public requestbuilder load nu...