Flink系列 感性認識

2021-10-08 11:30:14 字數 1401 閱讀 7359

可以當做乙個初步認識 flink 的文章,

僅此而已!!!!!

我們以乙個生產口罩的工廠為例來嘗試理解一下flink的整個計算流程

老闆都是複製整個工廠的整體把控的,

一般不親自動手,只需要管好 工廠的車間組長 就可以了。

jobmanager 則是負責整個集群的資源管理與任務管理,

當然他不需要親自管理,一般都是交給 taskmanager。

工廠的車間組長 也同樣還是不是具體做事的人,

只需要包控下自己車間的資源和進度 ,向老闆報告。

車間組長管理著這個擁有若干的生產裝置車間

並有一批可用的工人。

工人們可以選擇任意乙個空閒的裝置進行生產操作

taskmanager 負責當前節點上的任務執行及當前節點上的資源管理

並且將自己管理的記憶體資源劃分為乙個個的 taskslot,

同時具有一定數量的 cpu 使用這些 taskslot

這些cpu可以共享所有的 taskslot 資源執行任務

所以類似的我們可以:

裝置 對於 taskslot

工人 對應 cpu

並且生產裝置是可以在工人之間共享,

也就是雖然記憶體taskslot進行了隔離,

但是cpu是沒有進行隔離的

假設我們的生產口罩的流程分為:abcd 四個流程

那麼我們的每個裝置都必須具備處理abcd流程的能力

假設我們現在這個flink 也具有 abcd 四個task。

也就是每個task代表的都是乙個處理流程。

這樣工廠的架子就搭起來了,

flink集群也就是搭起來了,

現在只等資料進來,恩,等單子進來

假設現在我們有個**商幫忙銷售口罩,

每當他**乙個口罩,就會向工廠傳送乙個訊息,

讓工廠生產乙個口罩併發送到指定的客戶手上,

那麼生產乙個口罩的過程是怎麼樣的呢?

我們知道口罩生產是要經過abcd四個步驟,

那麼我們現在假設進行a步驟(task)的生產:

首先選定乙個 裝置(taskslot),指定乙個工人(cpu,執行緒),

然後開始進行生產,

這就是乙個subtask

當有很多訂單過來的時候,我們就可以把車間更多的裝置和工人派出去執行,

所以就會產生很多 subtask。

當有任務執行完成

當任何乙個單子完成了a步驟就會緊接著進入bcd步驟,

直到最後完成口罩的生產。

乙個裝置乙個坑,所以生產口罩的過程,

同時進行生產是由裝置決定的...

而在flink中,這個設定就是 flink 的並行度,

一旦並行度設定超過 裝置的數量,那就會產生問題,

達不到預想的效果,所以flink會報錯。

對ssh的感性認識

1.struts和spring相關聯 通過建立service介面,所作的工作為將前台的資料和持久化物件接合起來.在serivce的實現類中,呼叫dao中的方法,實現資料庫的操作.2.spring和hibernate相關聯 通過建立dao介面,介面實現類還要斷承hiberantedaosupport ...

實際測試下檔案IO,有乙個感性認識

環境 戴爾伺服器 cpu 4 核3.1ghz 記憶體 4g 1.寫檔案速度測試結果 10s 環境 死迴圈進行寫檔案,隨著迴圈輪詢每個檔案,每次迴圈把內容寫入輪到的這個檔案 條件 輪詢寫檔案的個數 結果 檔案大小總和 單位g 1 1.50 21.44 1001.39 5001.35 1000 1.31...

數學建模 馬爾薩斯的人口模型及感性認識

首先值得一提的是 數學模型分為機理型模型和統計回歸模型。顯而易見,在這裡的是機理型模型,這是乙個自己構建數學函式的過程,區別於統計回歸用matlab來構造乙個函式的過程。這次人口論模型的構建分為三個部分,分別講述了最基礎的馬爾薩斯模型,公升級版的logistic模型和現代版的leslie模型,主要是...