在(MRv1 中JobTracker工作方式

2021-09-08 04:06:12 字數 607 閱讀 8295

在 hadoop mapreduce 中,jobtracker 具有兩種不同的職責:

為單個程序安排大量職責會導致重大的可伸縮性問題,尤其是在較大的集群上,jobtracker 必須不斷跟蹤數千個 tasktracker、數百個作業,以及數萬個 map 和 reduce 任務。下圖演示了這一問題。相反,tasktracker 通常近執行十來個任務,這些任務由勤勉的 jobtracker 分配給它們。

為了解決可伸縮性問題,乙個簡單而又絕妙的想法應運而生:我們減少了單個 jobtracker 的職責,將部分職責委派給 tasktracker,因為集群中有許多 tasktracker。在新設計中,這個概念通過將 jobtracker 的雙重職責(集群資源管理和任務協調)分開為兩種不同型別的程序來反映。

不再擁有單個 jobtracker,一種新方法引入了乙個集群管理器,它惟一的職責就是跟蹤集群中的活動節點和可用資源,並將它們分配給任務。對於提交給集群的每個作業,會啟動乙個專用的、短暫的 jobtracker 來控制該作業中的任務的執行。有趣的是,短暫的 jobtracker 由在從屬節點上執行的 tasktracker 啟動。因此,作業的生命週期的協調工作分散在集群中所有可用的機器上。得益於這種行為,更多工作可並行執行,可伸縮性得到了顯著提高。

yarn對mrv1的修改主要包括以下幾個方面

2 tasktracker的部分通過由模組 taskattemptlistenerimple完成 3 利用狀態機重寫jobinprogreess類,其主要功能由jobimple完成 4 利用狀態機重寫taskinprogess累,其主要功能由maptaskimple reducetaskimple完...

在Evolution中設定gmail和126郵箱

介紹 evolution是gnome環境下的乙個郵件客戶端,可以幫助你方便的管理和收發郵件。如果不用郵件客戶端的話,郵件是儲存在伺服器上的,你可以在任何地方都能開啟。但是,如果你的郵箱被非法使用者破解,那麼,或許你就是社會工程學的又乙個案例了。接收電子郵件設定 伺服器型別 pop 伺服器 pop.1...

1 在C 中的數字 int double

在之前本著能懶就懶的原則,所以導致一些本來該總結的也不總結,該記錄的也不記錄的知識點總是很快忘記的一乾二淨。今天,決定了開始記錄,我也不敢說可以堅持多久,頻率嘛,肯定不是每天都記錄 還是懶 但是目前想來一周2 3次發部落格記錄學習吧。如果有看到我偷懶的,可以在訊息裡打醒我 希望你們不會記得 這裡的內...