Flink基本架構之graph(三)

2022-07-30 18:36:09 字數 1067 閱讀 5791

今天才知道,我之所以漂泊就是在向你靠近

一、flink內部graph轉換圖

datastream api(特有的)

二、graph的簡介

streamgraph

1、根據使用者**生成最初的圖

2、程式拓撲

3、client端生成

jobgraph

1、優化streamgraph

2、將多個符合條件的node chain在一起

3、client端生成

executiongraph

1、jobmanager根據jobgraph生成,並行化

物理執行圖

實際執行圖,不可見

streamgraph物件會根據**進行解析,將計算鏈條上的運算元,根據其型別加到list中去。其中的型別父類為一下若干種:

三、graph之間的關係

可以看出streamgraph根據將streamgraph中載入的運算元,按照先後順序生成乙個拓撲結構的計算流程圖,然後將計算流程圖

傳送給jobmanager,然後根據chain的方式,以及shuffle階段和並行度 綜合考慮將計算流程圖,根據不同sharinggroup分成不同並行的job。

根據jobgraph的分組(slotsharinggroup)以及並行度的關係,將實際的並行度的圖進行展開,然後將展開的圖,進行具體的job生成。不同的**

分配到不同的機器上,指定taskslot進行計算。

LTE LTE基本架構

這篇文章主要介紹lte的最基礎的架構,包括lte網路的構成,每乙個網路實體的作用以及lte網路協議棧,最後還包括對乙個lte資料流的模型的說明。這是一張非常有名的lte架構圖,從圖中可以看出,整個網路構架被分為了四個部分,包括由中間兩個框框起來的e utran部分和epc部分,還有位於兩邊的ue和p...

MySql基本架構

mysql基本架構分為server層和儲存引擎 負責連線客戶端與server層,簡單來說就像是乙個登入認證模組,判斷使用者的身份和許可權。mysql會快取我們執行過的select語句,以key value的形式直接放在記憶體中。後續查詢如果命中快取就可以直接拿出快取的結果集而不用去執行後面的複雜操作...

Linux基本架構

linux設計思想 1.程式應該小而專一,程式應該盡量的小,且只專注於一件事上,不要開發那些看起來有用但是90 的情況都用不到的特性 2.程式不只要考慮效能,程式的可移植性更重要,shell和perl,python等指令碼相比c有更好的移植性 3.一切皆檔案,盡量使用文字檔案來儲存資料,避免使用二進...