flink 流的概念

2021-08-19 04:55:13 字數 328 閱讀 6415

flink為批處理以及流處理統一提供table api和sql支援。意思是table api還是sql查詢有著同樣的語義,不論有界限的批處理還是無界限流式處理。因為關係函式和sql都原本設計為批處理,而關係查詢在無邊界的流式輸入沒有有邊界的批處理查詢容易懂。

本章節,我們討論圍繞flink關係api在流式資料上,實際的界限以及流的特殊配置引數。

資料流的關係查詢

動態表以及持續查詢

在資料流上定義一張表

持續查詢

表與流的轉換

時間屬性

執行時間

時間時間

查詢配置

空閒狀態儲存時間

Flink核心概念

根據資料來源的型別,即有界 bounded 或無界 unbounded 資料來源,您可以編寫乙個批處理程式或流處理程式,其中dataset api用於批處理,datastream api用於流處理。flink程式看起來像轉換資料集合的常規程式。每個程式都由相同的基本部分組成 streamexecut...

FLINK流式概念

flink流式概念整理 動態表 1 將流轉換為動態表。2 在動態表上計算乙個連續查詢,生成乙個新的動態表。3 生成的動態表被轉換回流。時間屬性 時間屬性可以像普通的時間戳的列一樣被使用和計算。一旦時間屬性被用在了計算中,它就會被物化,進而變成乙個普通的時間戳。普通的時間戳是無法跟 flink 的時間...

Flink核心概念

一 flink的定義 flnk是乙個分布式處理引擎,用於在無邊界和有邊界資料流上進行有狀態的計算。flink能在常見集群環境中執行,並能以記憶體速度和任意規模進行計算。二 有界流和無界流 flink的核心是流處理,當然也支援批處理。flink的本質是流處理,它將批處理看作是流處理的特殊情況,即有界流...