3.yarn工作流程
4.yarn核心元件概念
5.容錯能力
定位：可以理解成分布式作業系統
作用：資源整合，讓系統資源得到最大化利用，同一套硬體集群中可以執行多個任務（mr,spark,flink…）
mapreduce經歷了完全重構，不再是hadoop的核心元件，
而成為yarn 上的一種應用框架
4.1 resoucemanager
rm是yarn的主，相當於hadoop1.0中jobtracker 進行權利的下放
4.2 nodemanager
負責jobtracker中「任務排程」的角色
本質： am是乙個 container,管理其他的container,是乙個任務的主，啟動任務的時候 am啟動， 當任務執行完畢，am消失。也是乙個普通的container
• 應用程式的master，每乙個應用對應乙個am，在使用者提交乙個應用程式時，乙個am的輕量型程序例項會啟動，am協調應用程式內的所有任務的執行
• 負責乙個job生命週期內的所有工作，類似舊的jobtracker
• 每乙個job都有乙個am，執行在rm以外的機器上
• 與rm協商資源
– 與scheduler協商合適的container
• 與nm協同工作與scheduler協商合適的container進行container的監控
• 是乙個普通container的身份執行
4.4 container
本質：是乙個程序，是由nm進行啟動，作用：真正執行任務的地方
•yarn 將cpu核數，記憶體這些計算資源都封裝成為乙個個的容器
•是任務執行環境的抽象封裝（8,16g）container（1cpu，2g）container（1cpu，6g）
• container只是使用nm上指定資源的權利
• am必須向nm提供更多的資訊來啟動container
• 描述任務的執行資源（記憶體、cpu）、啟動命令run.sh和執行環境
（1）rm掛掉怎麼辦？ 主（對外服務）備（資料備份，準備隨時登位）切換
（2）nm掛掉怎麼辦？
nm有am：整個任務掛掉
nm沒有am：只是存在執行任務的container, 進行臨時調配，整個任務不會掛
（2）am掛掉怎麼辦？
rm上有乙個am，來負責啟動am
大資料之Hadoop框架（一）
三 hadoop應用 四 hadoop優勢及意義 quad quad apache hadoop 是乙個開源的,可靠的 reliable 可擴充套件的 scalable 用於大資料儲存 計算 分析的分布式儲存系統和分布式計算框架。quad quad hdfs hadoop distributed f...
大資料hadoop之yarn
yarn是乙個資源排程平台負責為運算程式提供伺服器運算資源，相當於乙個分布式作業系統平台，mr等程式在上面執行。mr程式把任務提交到客戶端所在節點 rm將使用者請求初始化乙個task進入自己的任務排程佇列，傳送task任務到nm am向rm申請執行maptask容器 rm向nm分配maptask，n...
大資料之 hadoop 簡介
簡介 hadoop 是乙個由 apache 會所開發的分布式系統基礎架構，它可以使使用者在不了解分布式底層細節的情況下開發分布式程式，充分利用集群的威力進行高速運算和儲存。從其定義就可以發現，它解決了兩大問題 大資料儲存 大資料分析。也就是 hadoop 的兩大核心 hdfs 和 mapreduce...