driver部分的**：sparkconf+sparkcontext
---driver**部分：---
val conf = new sparkconf()
val sc = new sparkcontext(conf)
---------- end ---------
---executor部分**，分布到集群中的**---
比如 textfile flatman map
worker 管理當前的note的資源，並接受master的指令來分配具體的計算資源executor(在新的程序中分配)
executorrunner 管理程序，建立程序
worker 發心跳給master只有id,不會匯報資源資訊
worker在master註冊時就已經匯報過資源資訊
worker只有故障時才匯報資源情況
spark 速度快的原因，不是基於記憶體計算，而主要是他的排程和容錯等
stage 內部：計算邏輯完全一樣只是計算的邏輯不同罷了，這是分布式計算的基本
一般乙個action裡有乙個jobs
spark的程式執行有兩種執行模式：client cluster 一般是client模式
worker 上做driver 是cluster模式
Spark核心架構深度剖析
driver 就是我們用來提交編寫的spark程式的一台機器，在driver中最重要的一件事 建立sparkcontext sparkcontext 我們在建立sparkcontext的過程中,最重要的3件事，其一建立dagsechedule 有向無迴圈圖排程者 其二建立taskscheduler ...
Spark核心架構深度剖析
1，通過spark submit提交編寫好的spark程式，這時候spark會通過反射的方式，建立和構造乙個driveractor程序出來。3，應用程式每執行到乙個action就會建立乙個job，job會提交給dagscheduler，dagscheduler會通過stage劃分演算法 5，mast...
20 Spark核心程式設計之Spark架構原理
driver driver 程序 我們編寫的spark程式就在driver上，由driver程序執行 master master是個程序，主要是負責資源的排程和分配，還有集群的監控等等職責 worker worker是個程序，主要負責有兩個，乙個是用自己的記憶體，儲存rdd的某個或某些partiti...