flink結構:
graph:
2個併發度(source為1個併發度)的sockettextstreamwordcount
四層執行圖的演變過程:
jobgraph:streamgraph經過優化後生成了 jobgraph,提交給 jobmanager 的資料結構。
executiongraph:jobmanager 根據 jobgraph 生成executiongraph。executiongraph是jobgraph的並行化版本,是排程層最核心的資料結構。
物理執行圖:jobmanager 根據 executiongraph 對 job 進行排程後,在各個taskmanager 上部署 task 後形成的「圖」,並不是乙個具體的資料結構。
flink架構介紹
flink作為基於流的大資料計算引擎,可以說在大資料領域的紅人,下面對flink 1.7的架構進行邏輯上的分析並和spark做了一些關鍵點的對比。如圖1,flink架構分為3個部分,client,jobmanager 簡稱jm 和taskmanager 簡稱tm client負責提交使用者的應用拓撲...
flink學習 2 架構
flink 執行時的元件 任務管理器taskmanager flink的工作程序。通常在flink中會有多個taskmanager執行,每乙個taskmanager都包含了一定數量的插槽 slots 插槽的數量限制了taskmanager能夠執行的任務數量。啟動之後,taskmanager會向資源管...
Flink學習筆記(五) flink資料合流
上一章記錄了flink的分流操作,那麼有分流是不是應該有合流呢?當然是有這樣的操作啦 stream1和stream2流需要合併為stream流 1.union合流 2.connect合流 前置配置 streamexecutionenvironment env streamexecutionenvir...