本地提交到yarn Flink入門之提交任務

2021-10-14 16:58:34 字數 1003 閱讀 6018

在開始講本篇內容之前,先回憶一下上篇文章講了什麼,主要講了以下幾點

那麼自然而然的事情,講完了基本組成,就要丟擲乙個主要的問題了,用村上春樹的書名來表達的話就是----當你提交任務後,flink做了什麼?

重要的事情說三遍。flink架構主要做的是什麼呢?

資源和任務的匹配,即運算元本地化!

資源和任務的匹配,即運算元本地化!

資源和任務的匹配,即運算元本地化!

flink runtime可以作為yarn的應用程式執行,也可以在mesos集群上執行,也可以在單機上執行(本地除錯相當方便)

本文主要以standalone和yarn兩種方式進行**

流程:
使用者提交任務,client負責作業的編譯和提交

client產生jobgraph提交到集群中執行

am預先啟動,client直接與dispatcher建立連線提交作業

dispatcher啟動jobmanager,由其向rm申請資源執行任務

rm向外部資源申請資源啟動task executor,等待task executor啟動後向rm註冊

rm選擇合適的slot通知tm 進行分配(類似銀行大廳叫號,請xx號到幾號櫃檯)

tm拿個小本本記下來,去找櫃員(jobmanager)註冊

jobmanager收到註冊上來的slot後,提交task

taskexecutor收到jm提交的task後,埋頭幹活(啟執行緒,也就是task執行任務)

最全大資料學習資源,超多專案實戰

本地docker提交到docker hub

docker commit 引數 容器名 映象名 1 登入docker hub docker login username docker hub的使用者名稱 password docker hub的密碼 登入成功的話會顯示successed 2 docker commit m 映象描述 a 作者 容...

git本地提交到github遠端

將git的本地倉庫上傳到github遠端 1 首先要註冊乙個github賬號。登入 github 官網進行註冊,會發乙個認證碼到你的註冊郵箱中,獲取認證碼填寫後就可以註冊成功了。2 註冊完成後,使用 new repository,新建乙個倉庫 這裡建立的倉庫名稱是gittest,然後在 clone ...

本地專案提交到git遠端倉庫

本文使用的是idea開發工具,將專案提交到碼雲上,並建立開發分支 git init 初始化該專案為git專案 第一步 ignore 新增ignore檔案 第二步 git add 注意 add 後邊有個.點 第三步 git commit am 提交到本地 裡邊為注釋 第四步 git remote ad...