flink原始碼分析之source function

public inte***ce sourcefunctionextends function, serializable

sourcefunction是資料流資料的基本介面,有run和cancel兩個方法

checkpointedfunction sources 帶有checkpoint檢查點的source必須卻表checkpoint狀態的儲存,更新以及element元素的傳送不能同時發生,為此利用checkpoint lock來保證.

timestamp 和 watermark,sourcefunction可以抽取element的timestamp以及傳送watermark,但這只針對timestamp的語義是eventtime,如果是processtime或ingestiontime的話,就會自動忽略.

一般情況下run方法內會有乙個loop,當執行cancel方法後,會中止迴圈並停止傳送資料.

inte***ce sourcecontext

sourcecontext中有幾個傳送資料的方法

//只傳送element
void collect(t element);
//傳送element和timestamp
void collectwithtimestamp(t element, long timestamp);
//傳送watermark
void emitwatermark(watermark mark);

還有乙個markastemporarilyidle將源標記為空閒,只在時間戳語義為ingrestiontime和eventtime時有效,允許下游處理在資料來源空閒沒有得到watermark時,處理自己的watermark

void markastemporarilyidle();

還有獲得getcheckpointlock(),保證checkpoint狀態的儲存更新和element資料傳送不是同時進行的.

object getcheckpointlock();

下面是官方給出的自定義sourcefunction的例子

public class examplecountsource implements sourcefunction, checkpointedfunction }}
public void cancel() 
public void initializestate(functioninitializationcontext context) }}
public void snapshotstate(functionsnapshotcontext context) 
}}

flink原始碼分析之source function

Flink 原始碼解析

原始碼分析之LayoutInflater

原始碼分析之HashMap

flink原始碼分析之source function

Flink 原始碼解析

原始碼分析之LayoutInflater

原始碼分析之HashMap

相關推薦