當client提交乙個任務後,首先resourcemanger(rm)來排程出乙個container,這個container是在nodemanger(nm)運作的,
am會計算此次任務所需的資源,然後向rm申請資源,得到一組供map/reduce task執行的container,然後協同nm一起對每個container執行一些必要的任務,在任務執行
過程中,am會一直監視著任務的執行進度,若中間某個nm上的container中的任務失敗,那麼am會重新找一台節點來執行此任務.
流程如下:
mrv2執行流程：
mr jobclient向resourcemanager(rm)提交乙個job
rm向scheduler請求乙個供mr am執行的container，然後啟動它
mr am啟動起來後向rm註冊
mr jobclient向rm獲取到mr am相關的資訊，然後直接與mr am進行通訊
mr am計算splits並為所有的map構造資源請求
mr am做一些必要的mr outputcommitter的準備工作
mr am向rm(scheduler)發起資源請求，得到一組供map/reduce task執行的container，然後與nm一起對每乙個container執行一些必要的任務，包括資源本地化等
mr am 監視執行著的task 直到完成，當task失敗時，申請新的container執行失敗的task
當每個map/reduce task完成後，mr am執行mr outputcommitter的cleanup **，也就是進行一些收尾工作
當所有的map/reduce完成後，mr am執行outputcommitter的必要的job commit或者abort apis
mr am退出。
工作流建模 工作流概念
工作流建模 工作流概念 1 案例 工作流系統得基本目的是處理案例。每個案例都有乙個唯一標識，而且每個案例的生命週期都是有限的。案例生命週期都處於某個特定狀態，該狀態由三個元素組成 1 案例相關的屬性的值 案例屬性是一系列同案例相關的變數。能夠用來管理案例。正是通過這些變數，才有可能指出在特定條件下某...
MapReduce On YARN的工作原理
mapreduce計算框架 將計算過程分為兩個階段 map和reduce map階段並行處理輸入資料 reduce階段對map結果進行彙總 shuffle連線map和reduce兩個階段 map task將資料寫到本地磁碟 reduce task從每個map task上讀取乙份資料 僅適合離線批處理...
工作流 一 什麼是工作流
什麼是工作流 工作流的英文全稱是 workflow，簡單理解則是業務流程的計算機化或自動化。它是是針對工作中具有固定程式的常規活動而提出的乙個概念，通過將工作活動分解定義良好的任務 角色 規則和過程來進行執行和監控，達到提高生產組織水平和工作效率的目的。工作流技術發端於70年代中期辦公自動化領域的研...