Hadoop Job提交流程及涉及的關鍵程序

2021-08-18 07:17:59 字數 732 閱讀 8108

1、hadoop集群中主要程序有

master:   resourcemanager  namenode

1)

其中runjar

(提交器),

,yarnchild

與隨著某個

job的建立而建立,隨著

job的完成而終止。

它們的作用分別是:

runjar

:完成job

的初始化,包括獲取

jobid

,將jar

包上傳至

hdfs

等。:每個job

乙個程序,主要跟蹤

job的運**況,向

rm申請資源等。

yarnchild

:執行具體的

map/reduce task

2)    job啟動過程:

3)    job退出過程:

job提交主流程

gitlab提交流程

1 檢視本地的倉庫和遠端倉庫和主線倉庫 源專案倉庫 git remote v 如果沒有遠端或者主倉庫可以新增再檢視 新增遠端庫 x 代表git或者https路徑 git remote add origin x git remote add origin git github.com zsythink...

git 提交流程

git提交流程 1.menu remote 拉取 fetch 2.重新掃瞄 rescan 3.快取改動 stage change 4.寫注釋後提交 commit 5.menu remote 本地合併 選擇head 6.如果出現衝突,手動解決衝突,這時檔案會修改,選單 commit 快取為提交 如果沒...

idea git 專案提交流程

希望能幫助有需要朋友 new branch 新建本地分支 local branches 本地分支 remote branches 遠端分支 剛開始要新建遠端develop分支在本地的分支 一定要有 先pull保證是最新 在去新建分支 新建分支 feature 自己名字縮寫 日期 缺省會自動切換到自己...