2、tasktracker的部分通過由模組 taskattemptlistenerimple完成
3、利用狀態機重寫jobinprogreess類，其主要功能由jobimple完成
4、利用狀態機重寫taskinprogess累，其主要功能由maptaskimple reducetaskimple完成
主要由幾個模組組成
containerallocator containerallocator負責將map task 和reduce task 需要的資源轉化為resuoucenanager可以識別的表現形式。
每天 7866m = 7.8g
每天7.68g * 90天= 691g 這麼多g 還算好，不是很多。
在（MRv1 中JobTracker工作方式
在 hadoop mapreduce 中，jobtracker 具有兩種不同的職責 為單個程序安排大量職責會導致重大的可伸縮性問題，尤其是在較大的集群上，jobtracker 必須不斷跟蹤數千個 tasktracker 數百個作業，以及數萬個 map 和 reduce 任務。下圖演示了這一問題。相反...
第1章 對執行在YARN上的Spark進行效能調優
在yarn上執行spark需要在spark env.sh或環境變數中配置hadoop conf dir或yarn conf dir目錄指向hadoop的配置檔案。spark default.conf中配置spark.yarn.jars指向hdfs上的spark需要的jar包。如果不配置該引數，每次啟...
yarn的學習之1 架構
本文翻譯自 譯註 原文說得有些過於簡單的，並且有些混亂。yarn由兩個部分的守護程式構成 資源管理 排程 監控。乙個應用要麼是乙個作業，要麼就是由作業構成的dag 多個job 多個job yarn的資料計算框架由rm和節點管理器 nodemanager nm 構成.rm負責管理所有應用的資源。nm其...