1：yarn是乙個通用的資源排程平台
2：yarn可以為很多計算框架（mr，spark，storm）提供資源排程任務
3：yarn本身也是乙個集群，是乙個主從架構集群，主節點:resourcemanager,從節點：nodemanager
client
提交任務:hadoop jar /export/server/hadoop-
2.7.5
/share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.7.5
.jar pi 2
1000
resourcemanager
1:做全域性管理
2：需要接受nodemanager的心跳資訊，要知道每個nodemanager的資源使用情況
nodemanager
1：負責管理本機的資源
2：定時向resourcemanager匯報自己的資源情況
3：nodemanger是來具體分配資源的
4：監控所有任務執行狀態，並在任務執行失敗時重新為任務申請資源以重啟任務。
container
1：資源分配的單位
2：乙個container：2g，2核
1：fifo scheduler
佇列排程器
1：fifo scheduler把應用按提交的順序排成乙個佇列，這是乙個先進先出佇列，在進行資源分配的時候，先給佇列中最頭上的應用進行分配資源，待最頭上的應用需求滿足後再給下乙個分配，
2：這種排程器很少用，因為如果前邊的任務占用資源過大，而且執行時間過長，則會嚴重影響後邊的任務執行
2：capacity scheduler
容量排程器
1：apache的hadoop預設的排程器
3. fair scheduler
公平排程器
cdh版的hadoop預設使用的排程器
1
2：引入多namenode機制，1乙個active多個standby
3：引入了hdfs的糾刪碼機制，每乙個block只需要存1份，然後儲存多份糾刪碼資料，如果原來的block資料丟失了，可以通過糾刪碼檔案來恢復
4：在進行mapreduce計算時，盡可能多的使用記憶體，加快處理速度
yarn資源管理
在tarn中，資源管理由rescouecemanager和nodemanager共同完成，其中，resourcemanager中的排程器負責資源分配，而nodemanager則負責資源的供給和隔離。resourcemanager將某個nodemanager上資源分配給任務 這就是所謂的資源排程 後，...
yarn資源管理優化
集群環境 chd5 2.5.2 我們集群使用的是failscheduler，如果佇列引數設定不合理，會直接影響到任務執行的快慢。佇列設定不合理 現狀 該隊裡minshare設定的過小，同時起的任務太多 導致的問題 該佇列中平均每個任務分的資源比較少，任務跑的特別慢，同時，任務之間會相互搶占conta...
Yarn的資源管理
假設一台機器有48g物理記憶體 8core 按照1 2的一般配置 虛擬core vcore 有 16個 1 linux系統本身要佔記憶體 空留 20 48 0.2 9.6g 剩餘 80 38.4g 2 dn程序 datanode 生產4g 更改datanode的配置 hadoop env.sh ha...