standalone client提交模式：
1.standalone會通過反射的方式，建立和構造乙個driveractor程序。
3.sparkcontext在初始化時，構造出dagscheduler和taskscheduler。
6.executor會反向註冊到taskscheduler上去。
7.driver結束sparkcontext初始化，繼續執行我們編寫的**。
8.每執行到乙個action，就會建立乙個job，並提交給dagscheduler。
9.dagscheduler會將job劃分為多個stage，然後每個stage建立乙個taskset。
10.taskscheduler會把taskset裡每乙個task提交到executor上執行。
11.executor每接收到乙個task，都會用taskrunner來封裝task，然後從執行緒池裡取出乙個執行緒來執行。
12.每個task針對rdd的乙個partition，執行我們定義的運算元和函式。
Spark 學習記錄 Spark 前言
spark是乙個非常強大而活躍的開源社群開源和維護的，他們來自不同的機構，其中很多的人都是我們華人，spark是2009年作為乙個研究專案在加州大學伯克利分校實驗室誕生，實驗室的一些研究人員在做迭代計算的時候發現mr效率極其低下，因而想要一種適合迭代計算的計算框架，spark應用而生。因此spark...
Spark學習筆記（一） spark簡介
spark是基於記憶體計算的大資料平行計算框架。09年誕生於加州大學伯克利分校amplab.spark是mapreduce的替代方案，相容hdfs hive等分布式儲存層，可融入hadoop的生態系統，以彌補mapreduce的不足。其主要優勢如下 中間結果輸出 可以將多stage的任務串聯或者並行...
Spark學習（一）之Spark初識
1.spark歷史及簡介 spark是乙個實現快速通用的集群計算平台。它是由加州大學伯克利分校amp實驗室 開發的通用記憶體平行計算框架，用來構建大型的 低延遲的資料分析應用程式。它擴充套件了廣泛使用的mapreduce計算模型。12年正式開源，距今6年歷史。spark執行架構的設計 cluster...