resourcemanager 元件
一、客戶端和resourcemanager互動
這裡細說client端的話，resourcemanager主要是通過client service、1、client service
2、administration service
既然client service是負責處理一般使用者應用程式的提交或終止，為了確保管理員的請求不會被一般使用者的請求餓死，提供了搞優先順序的操作命令，這裡就多分離出了乙個介面供管理員使用。通過resourcemanageradministrationprotocol來實現的通訊協議。包含的主要操作有：重新整理佇列，重新分配佇列或改變佇列的屬性、重新整理resourcemanager處理的節點列表，例如：增加新安裝的節點或退役現有節點等。
類似客戶端和管理員等的請求這樣面向使用者的api，resourcemanager可以通過設定配置屬性yarn.acl.enable為true來啟動應用程式的acl。檢視訪問的acl決定誰可以通過rpc介面檢視一些貨所有應用程式的相關細節，web ui服務及web服務，修改的acl決定著哪些使用者可以"修改"應用程式（殺死程式等)
二、應用程式與resourcemanager的通訊
三、節點和resourcemanager 通訊
下列是resourcemanager的元件和執行在集群節點上的nodemanager進行通訊。
1、resourcemanager tracker service
nodemanager傳送心跳給resourcemanager，resourcemanager的該元件負責相應來自所有節點的rpc。實現了resourcetracker介面與所有nodemanager的通訊。主要負責：註冊新節點、接收前面註冊節點的心跳、確保合法的節點可以和resourcemanager通訊。reource tracker service**乙個合法的心跳給yarn排程器，yarn排程器隨後根據節點的空閒資源及不同應用程式的資源請求做排程決定。
2、nodemanagers 存活監控
為跟蹤活躍的節點和確定已死的節點，該元件跟蹤每乙個節點的識別符號（id）和它最後的心跳時間。
3、nodes-list manager
是在resourcemanager記憶體中的乙個集合，包括有效節點和被排除的節點。它也跟蹤由管理員明確退役的節點。
二、yarnscheduler
yarn排程器負責給正在執行的應用程式分配資源，這些應用程式受到容量、佇列等各方面的限制。
三、containerallocationexpirer
nodemanager 元件
nodemanager內部也可以劃分為一些列巢狀元件，臥槽好多啊。。。
一、nodestatusupdater
二、containermanager
是nodemanager的核心管理元件。其中也包含許多子元件：rpc server、資源本地化服務、public資源的本地化等等。
具體元件就不一一枚舉了。。。。太多了。。。。。。。
整個作業大體總體執行流程：
1、應用程式提交給resourcemanager。
各元件命令
kafka主題的增 刪 查 啟動kafka自帶的控制台生產者程序 或者 消費者程序 mysql 匯入sql檔案資料 source opt insurance.sql mysql uroot p default character set utf8mb4 insurance 備份mysql資料庫到乙個...
JMeter各元件說明
做乙個完整的自動化測試，基本的下面幾步既可以搞定 1 foreach 邏輯控制器 foreach控制器 新增 配置元件 使用者自定義變數，定義變數注意命名格式 變數名 加 下劃線 加 數字 從1開始計數 迴圈時起始與start index for loop 止於end index for loop ...
scrapy各元件詳解
scrapy是乙個為了爬取 資料，提取結構性資料而編寫的應用框架。可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中。其最初是為了頁面抓取 更確切來說,網路抓取 所設計的，也可以應用在獲取api所返回的資料 例如 amazon associates web services 或者通用的網...