用的spark版本1.3+
該方法建立乙個actorsystem
createsparkenv
4.sparkcontext
建立driver的執行時環境，注意這裡的numdrivercores是local模式下用來執行計算的cores的個數，如果不是本地模式的話就是0
sparkenv.createdriverenv(conf, islocal, listenerbus, sparkcontext.numdrivercores(master))
為driver建立乙個sparkenv
conf:sparkconf conf 是對sparkconf的複製
listenerbus 才用***模式維護各類事件處理
private[spark] def createdriverenv(
conf: sparkconf,
islocal: boolean,
listenerbus: livelistenerbus,
Spark原始碼分析系列（目錄）
本文 研究以spark 2.3.0對應的 spark 版本。圖1 伯克利的資料分析軟體棧bdas berkeley data analytics stack 這裡要先說bdas 伯克利資料分析棧 是伯克利大學的amplab打造的用於大資料的分析的一套開源軟體棧，這其中包括了這兩年火的爆棚的spark...
Spark簡要教程系列（一） Mac安裝Spark
spark的安裝大多比較麻煩，而mac安裝spark非常簡單，本文分三部分內容。1.安裝jdk 2.安裝spark 3.簡單測試 真的安裝好了。2 前3個下拉框選擇合適的版本 一般選擇最新的版本就行 安裝好了。為了之後使用方便，你可以把這個資料夾改個簡單名字，如spark bin 1 開啟終端，進入...
Spark原始碼分析 Spark整體架構
術語 描述使用者編寫的程式。driver端的sparkcontext sparkconf和執行在executors上使用者編寫的業務邏輯 即map reduce reducebykey等 driver 執行使用者編寫應用程式的main 方法並建立sparkcontext worker 具體執行應用程...