a． yarn（yet another resource negotiator）
b． yarn的基本思想：
hadoop2.x框架圖：
a) 乙個純粹的排程器
b) 根據應用程式的資源請求嚴格限制系統的可用資源
c) 在保證容量、公平性及服務等級的情況下，優化集群資源利用率，讓所有資源都得到充分的利用
d) 由可插拔的排程器來應用不同的排程演算法，如注重容量排程還是注意公平排程
a) 負責與resourcemanager協商資源，並和nodemanager協同工作來執行和監控container以及他們的資源消耗
b) 有責任與resourcemanager協商並獲取合適的資源container，跟蹤他們的狀態，以及監控其進展
a) yarn提供了通用的應用資源模型
i. 資源名稱（包括主機名、機架名以及複雜的網路拓撲）
ii. 記憶體量
iii. cpu
iv. 其他資源：硬碟和網路的io
c) container是一種資源分配形式，為應用程式在特定主機上使用資源（如記憶體、cpu）的權利
YARN的主要元件及功能簡介
總體概述 主要結構 rm 負責整個系統的資源分配,主要由兩個元件構成 排程器 scheduler 應用程式管理器aplications master asm 排程器 排程器只是單純的排程,不參與任何具體的計算失誤,也不負責跟蹤程式的執行狀態,執行失敗的時候,也不負責程式的kill,重啟等,這些都交由...
yarn的元件和啟動job的流程
nm是每個節點上的框架 主要負責啟動應用所需的容器，監控資源 記憶體，cpu，磁碟，網路等 的使用情況並將之匯報給排程器。am主要負責同排程器協商以獲取合適的容器，並跟蹤這些容器的狀態和監控其進度。am負責計算應用程式所需的資源量，比如mapreduce的input splits，並把他們轉化成排程...
前端開發思想 架構 框架 設計模式之間的關係簡述
一 軟體體系結構和框架的定義 軟體體系結構的英文單詞是 architecture architecture的基本詞義是建築 建築學 建築風格。軟體體系結構雖然根植於軟體工程，但還處於乙個研究發展的階段，迄今為止還沒有乙個為大家所公認的定義。設計模式 中對框架的定義是框架就是一組相互協作的類，對於特定...