cluster 模式用於監控和排程的 driver 模組啟動在 yarn 集群中執行，一般用於生產環境當中。
excutor 程序啟動後會向 driver 進行反向註冊（內部通訊時 excutorbackend 向 ）,excutor 全部註冊完成後driver 開始執行 main（）函式；
之後執行到 action 運算元時，觸發乙個 job，並根據 寬依賴開始劃分 stage, 每個 stage 生成對應的 taskset,之後將 task 分發到各個 excutor 上執行。
乙個spark 應用程式中包括 job、stage、以及 task 三個概念
spark 的任務排程分兩路進行，或則從可以分為兩個粒度上進行，乙個是stage 級的排程，乙個 task 級的排程
stage 級別的排程
Spark執行流程
四個步驟 1.構建dag 呼叫rdd上的運算元 2.dagscheduler將dag切分stage 切分的依據是shuffle 將stage中生成的task以taskset的形式給taskscheduler 3.taskscheduler排程task 根據資源情況將task排程到相應的executo...
Spark執行流程
參考博文 apache spark 是專為大規模資料處理而設計的快速通用的計算引擎。hadoop雖然已成為大資料技術的事實標準，但其本身還存在諸多缺陷，最主要的缺陷是其mapreduce計算模型延遲過高，無法勝任實時 快速計算的需求，因而只適用於離線批處理的應用場景。磁碟io開銷大。每次執行時都需要...
Spark執行流程概述
cluster manager 在hadoop yarn上主要是指resourcemanager stage 每個job會被劃分為很多組task，作為乙個taskset,名為stage.stage的劃分和排程由dagscheduler負責。stage有非最終的stage shuffle map st...