2019.07.01
學習過程主要參考段海濤大資料p26
1. runjar程序向resourcemanager申請執行乙個job；
2. resourcemanager返回job相關資源的提交路徑staging-dir和為本job產生的jobid；
3. 向hdfs提交資源；
4. 匯報提交結果；
5. 將本job加入任務佇列；
6. 領取任務；
7. 分配執行資源容器；
9. 向resourcemanager註冊；
10. 啟動map任務程序；
11. 啟動reduce任務程序；
12. job完成後，向resourcemanager登出自己。
上述只是乙個大體的流程，具體實現時還有很多細節，例如某個map任務執行較慢，可在另一台機器上啟動乙個相同的map任務，當某個map率先結束時，相同的其他map就會終止執行。
Hadoop學習筆記 YARN
yarn產生背景 為什麼會產生yran？這個與mapreduce1.x的架構有關，正是因為mapreduce1.x存在許多的問題，才會產生 yarn。mapreduce1.x的架構如下 hadoop1.x時，mapreduce的架構仍然是主從架構。乙個jobtracker帶多個tasktracker...
Hadoop學習筆記之YARN
yarn service框架提供了一流的支援和api，可以在yarn中本地化時間執行的服務。簡而言之 in a nutshell 它作為乙個容器編排平台，用於管理yarn上的貨櫃化服務。它支援yarn中的docker容器和傳統的基於程序的容器。該框架的職責包括執行配置解決方案和安裝，生命週期管理 如...
Hadoop學習日記（一）
2019.02.27 1.客戶端上傳檔案時，nn首先往edits log檔案中記錄元資料操作日誌 2.客戶端開始上傳檔案，完成後返回成功資訊給nn，nn就在記憶體中寫入這次上傳操作的新產生的元資料資訊 3.每當edits log寫滿時，需要將這一段時間的新的元資料刷到fsimage檔案中去 將edi...