sparkenv 構造步驟：
1.建立安全管理器securitymanager：
主要對許可權、賬號進行設定，若用yarn作為集群管理器，則需要證書生成secret key登入。
2.建立基於akka的分布式訊息系統actorsystem：
spark使用它來實現併發程式設計，也用它來傳送分布式訊息。
spark1.6後已使用netty完全替代akka
3.建立map任務輸出***mapouttracker：
4.例項化shufflemanager：
5.建立shufflememorymanager：
6.建立塊傳輸服務blocktransferservice：
7.建立blockmanagermaster：
8.建立塊管理器blockmanager：
9.建立廣播管理器broadcastmanager：
10.建立快取管理器cachemanager：
11.建立http檔案伺服器httpfileserver：
12.建立測量系統 metricssystem：
13.建立sparkenv
Spark 執行環境
spark 作為乙個資料處理框架和計算引擎，被設計在所有常見的集群環境中執行,在國 內工作中主流的環境為 yarn，不過逐漸容器式環境也慢慢流行起來。接下來，我們就分別 看看不同環境下 spark 的執行 local 模式 想啥呢，你之前一直在使用的模式可不是 local 模式喲。所謂的 local...
自定義Python環境建立spark任務
說明 spark2.1.0 含 以下的版本不支援python3.6 安裝注意版本，請先檢查版本 1.建立虛擬python環境 這個不多介紹了，不管是通過annaconda還是virtualenv，建立好你自己的python環境。如果你也碰到了離線的平台，建議自己用docker做乙個和伺服器一樣的系統...
Spark執行架構
job 包含多個task組成的平行計算，乙個dag觸發的作業，由action運算元觸發，在sparkcontext中通過runjob方法向spark提交job stage job的排程單位，每個job會根據rdd的寬依賴關係被切分成很多stage，每個stage中包含一組相同的task，這組task...