之前寫過 mapreduce的原理和工作流程，包括了一小部分yarn的內容，因為yarn本來就是從mrv1中提出來的，所以二者有千絲萬縷的聯絡，另外，作為乙個新手也在梳理的階段，所以記錄的內容或多或少會有混亂或者不精準，還請大家包涵。
結構如下：先簡要介紹一下mrv1中的資源管理，然後概述yarn。
一，mrv1
這個階段資源管理和計算都是由mapreduce獨自完成。
執行階段包括：map sort/shuffle/merge 以及reduce等幾個階段實現
mapreduce框架負責管理集群資源，排程數以千計的作業以及其他的一些事情。
包括幾個元件：job tracker tesktracker管理相應節點的任務。tt與jt通訊，並被jt控制。jt負責工作伺服器節點的資源管理，跟蹤資源使用率/可用率，生命週期，排程作業的各個任務，跟蹤進度，以及為任務提供容災服務。tt根據jt的命令啟動清除任務，並且向jt提供任務的狀態資訊。、
但是：不能支援非mr應用的需求，可擴充套件性不高，資源使用率不高（map reduce節點不能互換）相容等問題導致了yarn的出現
二 yarn
rm有乙個元件：scheduler（可插拔），負責為應用分配組員，純排程器，不負責監控和狀態跟蹤，也不保證對失敗的task重啟，使用了資源
container的抽象概念，
nodemanager負責啟動每個系欸但的對應於某個應用程式的container,監控cpu,記憶體等資源使用情況，並報告給rm
每個應用的am負責與scheduler協商合適額container,跟蹤應用程式的狀態，監控他們的進度，
先寫到這
Hadoop Yarn 框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源，最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am，主要功能包括 與rm排程器協商以獲取資源 ...
Hadoop Yarn 框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源，最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am，主要功能包括 與rm排程器協商以獲取資源 ...
Hadoop Yarn 框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 container 等幾個元件構成。1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源，最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。container 表示，container是乙個動態資源分配單位...