1. createtaskscheduler()：建立sparkscheduler，sparkdeployschedulerbackend（它在底層負責接收taskschedulerimpl的控制，實際上負責與master的註冊，executor的反註冊，task傳送到executor等操作），呼叫taskschedulerimpl的init()方法，建立schedulepool，它有不同的優先策略，如fifo。
4. 找到worker，啟動executor。
5. 反向註冊到sparkdeployschedulerbackend上面。
SparkContext原始碼分析
spark原始碼是1.6.0版本 今天我們來分析一下sparkcontext sparkcontext主要有三個功能 taskscheduler task排程器 主要講 dagscheduler stage排程器 我們以standalone模式為例，進入createtaskscheduler cas...
Spark 之 SparkContext 原理剖析
driver 程序被啟動時，會例項化 sparkcontext 物件，然後 sparkcontext 在構建 dagscheduler 和 taskscheduler 物件。這句話在 spark學習筆記之排程 基本上都會被提及，這篇就從原始碼角度來剖析這個問題。首先從 sparkcontext 原始...
關於ArrayList初始化時，初始容量的問題
首先來看arraylist的構造方法有哪些 一 arraylist的構造方法 無參構造 傳入指定引數 這個暫時不用管 在arraylist中有乙個elementdate的陣列，arraylist底層就是用object陣列來實現的 這裡還定義了乙個空陣列，在arraylist使用無參構造方法時使用 回...