理解yarn平台,理解萬歲,膚淺理解也萬歲

2022-09-02 03:27:09 字數 695 閱讀 1488

從hadoop1到hadoop2很大程度上解放了jobtracker資源排程的問題,這就得多虧了yarn平台了。

我知道的,除了我們的大豆瓣用的是mesos,咱們國家可以說應該是99.99%都使用的是yarn,

當然了,國外使用的大多是mesos。(然而我對mesos並不理解啥,只知道他和yarn一樣的作用吧)

hadoop1當中,mapreduce(一下就簡稱mr,原諒我不想多打字的煩惱,kkk~)的主從結構,讓jobtracker的重任很大,

要接收客戶端的請求,要分配任務給tasktracker,還要進行資源監控和作業排程,這會給主節點帶來很大的負擔,

而且,主節點存在單點故障的問題,而且也沒辦法支援除了mr之外的計算框架,這也導致mr的運算結果也沒辦法給別的計算框架直接使用。

所以在hadoop2中yarn就應運誕生了。

下面是官方給的圖,大大牛果然還是不一樣的,乙個圖就基本上解釋了yarn產生的原因和帶來的好處。(好崇拜大大牛先生~kkk)

談一下我對yarn如何進行資源排程的理解吧:

我自己畫的圖,太亂了,將就著看~

yarn 是hadoop 2.0 中的資源管理系統,它是乙個通用的資源管理模組,可為各類應用程式進行資源管理和排程。

這肯定是官方的。

YARN架構及原理理解

hadoop yarn是乙個資源排程框架。yarn的基本思想是將資源管理和作業排程 監控的功能分解為單獨的守護程序。resourcemanager和nodemanager構成了資料計算框架。resourcemanager擁有系統中所有應用程式之間仲裁資源的最終許可權,也就是說,應用程式所需要的資源是...

如何理解yarn上的container

一直很困惑,為什麼在yarn上能執行storm,spark這樣的框架呢,他們是怎麼執行的呢,我想對這個有困惑的朋友應該不止我乙個,在這裡向大家推薦一本書 hadoop技術內幕 yarn詳解 第一點 什麼是分配資源,表面上將就是你可以使用的資源量,但在分布式系統中,你怎麼限制呢 其實分配的資源就是乙個...

平台概念的理解

記述一下自己簡陋的概念理解,備忘。暫且想出來的2個平台區分 待補充 1 使用者 2 軟體 平台上的的都是軟體應用,使用者通過使用平台上面的軟體來獲得服務。這裡和上面的區別是,雖然終端使用者都是從平台上獲得服務。但是軟體平台本身提供很多的if,ws。方便開發者方便的使用平台的功能來實現自己的特色應用。...