四、任務排程機制
五、訊息通訊原理
六、where to go
spark核心泛指spark訊息通訊原理、作業執行原理、儲存原理、執行時架構、記憶體管理機制、任務排程機制等等。
4.cluster manager (集群資源管理器):是指在集群上獲取資源的外部服務，目前有支援以下三種：standalone、apache mesos、hadoop yarn。
實際上，除了上述這些通用的集群管理器外，spark內部也提供了一些方便使用者測試和學習的簡單集群部署模式。由於在實際工廠環境下使用的絕大多數的集群管理器是hadoop yarn，因此我們關注的重點是hadoop yarn模式下的spark集群部署。
① yarn client模式
② yarn cluster模式
下面的時序圖清晰地說明了乙個spark應用程式從提交到執行的完整流程：
spark的任務排程總體來說分兩路進行，一路是stage級的排程，一路是task級的排程，總體排程流程如下圖所示：
todotodo第五章 Spark核心程式設計 Rdd 行動運算元
1.定義 def aggregate u classtag zerovalue u seqop u,t u,combop u,u u u seqop 分區內聚合函式 combop 分區間聚合函式 2.功能 分割槽的資料通過初始值和分區內的資料進行聚合，然後再和初始值進行分區間的資料聚合 3.執行流程...
python第五章 Python學習（第五章）
記錄所有的名片字典 card list defshow menu 顯示資訊 print 50 print 歡迎使用 名片管理系統 v1.0 print print 1.新增名片 print 2.顯示全部 print 3.搜尋名片 print print 0.退出系統 print 50 defnew ...
第五章 雜湊
雜湊表adt，只支援二叉樹查詢所允許的一部分操作。比如插入，刪除，查詢等。那些需要元素間排序資訊的操作將不會得到支援。比如findmin，findmax和線性時間按排序順序列印整個表的操作時不支援的。雜湊函式在理想狀態是能將任何兩個不同的關鍵字對映到不同的單元，但是這是不可能，因為關鍵字是無窮的，但...