1.yarn架構
資源管理器（resourcemanager ）和節點管理器（nodemanager ）組成了資料計算框架。資源管理器是系統中的應用資源的權威仲裁者。節點管理器是乙個在每個節點都會執行的框架的**，負責容器，監控資源的使用，並且報告這些資訊給資源管理器或者排程器（scheduler）。
來自網際網路，位址為：
排程器（scheduler ）
排程器負責分配資源給各種執行的應用。排程器不負責應用的監控和狀態跟蹤，它也不保證重啟由於應用失敗或者硬體故障導致的任務停止後的重啟。排程器基於應用對資源的請求，執行排程功能。實現方式是基於一種資源容器的概念。這裡的資源包括記憶體，cpu，磁碟，網路等。
排程器有乙個可插拔的策略，負責在各種佇列和應用間分配集群資源。例如：容量排程器（capacityscheduler）和公平排程器就是乙個例子。
2.api相容性
hadoop-2.x裡的mapreduce保證api監控，所以所有的mapreduce作業重新編譯後，即可在yarn之上執行。
3.資源保留
yarn支援資源保留，是通過reservationsystem實現，允許使用者去指定時間約束為重要作業的執行保留資源。 reservationsystem負責資源的跟蹤，執行保留的准入控制，並能動態指示底層排程器確保預留完成。
4.集群伸縮
為了在幾千個節點上伸縮yarn，yarn支援聯邦概念，聯邦可以將多個子集群透明地聯絡在一起，作為乙個集群對外服務。這樣就可以作為乙個大集群去執行大作業或者以租戶的形式對外提供。
YARN學習總結 第五節 YARN保留系統
reservation system yarn提供保留系統，允許使用者提前或者設定保留資源給重要作業。通過絕對數值的形式指定代替百分比。保留系統是乙個yarn resourcemanager的元件。保留系統工作流程 0.使用者提交乙個保留建立請求，返回乙個reservationid 1.使用者提交乙...
YARN學習總結 第八節 YARN節點管理
nodemanager nodemanager會執行健康檢查，可以是檢查磁碟或者任意使用者指定的檢查指令碼，如果檢查失敗，則標記此節點為unhealthy並且報告給resourcemanager，然後停止分配容器到此節點。磁碟檢查 磁碟檢查兩個目錄 local dirs和log dirs 分別由ya...
yarn 學習總結
yarn 官網 yarn 是由facebook google exponent 和 tilde 聯合推出了乙個新的 js 包管理工具，它仍然使用 npm 的registry，不過提供了全新 cli 來對包進行管理 過去，yarn 的出現極大的搶奪了 npm 的市場，甚至有人戲言，npm 只剩下乙個 ...