sparkconf 的構造很簡單，主要是通過 concurrenthashmap 來維護各種 spark 的配置屬性。 spark 的配置屬性都是以「spark.」開頭的字串。
現在開始介紹 sparkcontext。 sparkcontext 的初始化步驟如下：
1）建立 spark 執行環境 sparkenv；
2）建立 rdd 清理器 metadatacleaner；
3）建立並初始化 spark ui；
4） hadoop 相關配置及 executor 環境變數的設定；
5）建立任務排程 taskscheduler；
6）建立和啟動 dagscheduler；
7） taskscheduler 的啟動；
8）初始化塊管理器 blockmanager（blockmanager 是儲存體系的主要元件之一，將在第 4
章介紹）；
9）啟動測量系統 metricssystem；
10）建立和啟動 executor 分配管理器 executorallocationmanager；
11） contextcleaner 的建立與啟動；
12） spark 環境更新；
13）建立 dagschedulersource 和 blockmanagersource；
14）將 sparkcontext 標記為啟用。
sparkcontext 的主構造器引數為 sparkconf，其實現如下。
class
sparkcontext
(config: sparkconf)
extends
logging
with
executorallocationclient
throw
}
spark系列 Executor啟動過程分析
本篇文章將以問答的方式對executor的啟動進行分析。在可用的 worker 節點中啟動 executor 在 worker 節點每次分配資源時，分配給 executor 所需的最少 cpu 核數 1.4.2之前是每次只分配乙個core 該過程是通過多次輪詢進行，在分配過程中worker 節點可能...
mysql啟動過程長 mysql啟動過程
mysql啟動過程經過以下順序 1.mysql讀取配置檔案的順序 讀取順序 etc my.cnf etc mysql my.cnf usr etc my.cnf my.cnf 2.mysql啟動方式 mysql啟動方式有三種 mysqld mysqld safe mysqld multi 主要用於多...
Linux啟動過程
1 開啟 pc電源 pc加電後，乙個特殊的硬體電路會觸發 cpu 的 reset 腳的邏輯值，然後一些 cpu 暫存器，如 cs eip 等被給定乙個值，接著 cpu 跳轉到乙個固定位址開始執行 bios 2 bios 自檢，按設定的裝置啟動 bios 對硬體進行一系列徹底的檢查，如 cpu 型別 ...