Yarn的體系結構和執行原理

2021-08-21 07:45:19 字數 526 閱讀 9528

yarn的體系結構和執行原理:執行mapreduce的容器

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/wc1206

1.主節點:resourcemanager

職責:   (*) 接受任務請求  

(*) 資源的分配

(*) 任務分配

2.從節點:nodemanager

職責:  (*)從resourcemanager獲取任務和資源

(*)執行

3.排程mr任務的過程

4. 資源分配方式有3種

(1)fifo scheduler:先來先得

(2)capacity scheduler:容器管理

(3)fair scheduler:公平排程管理, 前提:假設任務具有相同優先順序,平均分配資源

大資料之yarn體系結構

繼續寫筆記,清清腦子 hadoop1.0的執行流程 我是搬運工。這段等我弄懂了再修改 首先使用者程式 jobclinet 提交乙個job,job的資訊會傳送到jobtracker中,jobtracker是map reduce框架的中心,他需要與集群中的機器定時通訊 hearbeat 需要管理那些程式...

5 執行機制和體系結構

作業系統能執行全部機器指令,應用程式只能使用非特權指令。核心態 管態 兩種處理器狀態用程式狀態字暫存器 psw 中的某標誌位來標識當預處理器處於什麼狀態。程式狀態字 psw 作用 實現程式狀態的保護和恢復。標誌劃分 狀態標誌 控制標誌和系統標誌。核心 計算機上配置的底層軟體,是os最基本 最核心的部...

硬體和體系結構

引導過程和 bios 引導的過程涉及到從外部儲存裝置 比如軟盤 cd 硬碟或者儲存鑰匙 memory key 中載入作業系統。執行這一初始載入的程式固化儲存在計算機中,稱為 基本輸入輸出系統 basic input output system,bios bios 儲存在非易失性的 non volat...