1.集群遵循主(master)-從(worker)機構：在不同的集群管理器模式下，master和worker對映的內容有所不同
在standalone模式下：主【master守護程序】和從【worker守護程序】
在on yarn模式下：主【resourcemanager守護程序】和從【nodemanager守護程序】
2.驅動器(driver)和執行器(executor)
驅動器和執行器生命週期以應用為準。
3.集群管理器
4.驅動器作用：
1.應用程式的入口，它執行使用者編寫的用來建立sparkcontext、建立rdd，以及進行rdd的轉化操作和行動操作的**。
2.將程式(對rdd處理)轉換為任務(task)
spark 驅動器程式負責把使用者程式轉為多個物理執行的單元，這些單元也被稱為任務task
spark 程式其實是隱式地建立出了乙個由操作組成的邏輯上的有向無環圖（directed acyclic graph，簡稱dag）
3.為執行器節點排程任務
5.執行器作用：
1.spark執行器節點是一種工作程序，負責在spark作業中執行任務，任務間相互獨立。
2.spark應用啟動時，執行器節點就被同時啟動，並且始終伴隨著整個spark應用的生命週期而存在。
模式的相關概念
網路模式 乙個模式m是由元組 b,a 定義在k個結點上，其中b是乙個k k的二元矩陣，a 用於指定anchor集，這是anchor結點索引的集合。模式可以看作是圖中少數結點上的邊的圖案，其中b表示編碼k個結點之間的邊模式的圖，a表示k個結點的乙個子集，用於定義基於模式的鄰接矩陣。即只有當兩個結點的索...
集群的概念
什麼是集群,什麼是負載均衡呢?筆者總結了一句簡單的定義 集群 負載均衡 錯誤恢復 1 術語定義 服務軟體是b s或c s結構的s部分，是為b或c提供服務的服務性軟體系統。服務硬體指提供計算服務的硬體 比如pc機 pc伺服器。服務實體通指服務軟體和服務硬體。客戶端指接受服務實體服務的軟體或硬體。2 兩...
集群的概念
首先 還的理解概念 1 域 說穿了就是乙個區域，範圍，域裡面管理很多資源 domain是weblogic server例項的基本管理單元。由配置為administrator server的weblogic server例項管理的邏輯單元，這個單元是所有相關資源的集合。中心配置檔案叫config.xm...