在watermark之前先說下時間的概念,在 裡面有各種時間視窗,實際生產中那是以哪個時間為準產生的視窗呢? 事件發生的時間? 進入flink程式的時間?還是flink開始處理的時間
flink提供了一套設計解決方案
設定可以在**中env直接設定
val env = streamexecutionenvironment.getexecutionenvironment
// env.setstreamtimecharacteristic(timecharacteristic.eventtime) //以事件時間作為視窗聚合
//以資料進入flink的時間作為視窗時間
// env.setstreamtimecharacteristic(timecharacteristic.processingtime) //以flink實際處理時間作為視窗時間
只能說不同的場景下,每個時間都有使用場景,具體根據實際情況來實施
我們可以直接在**中,對執行環境呼叫setstreamcharacteristic方法,設定流的時間特性
具體的時間,還需要從資料中提取時間戳(timestamp),
如果要用事件時間,還需要設定具體取的哪個欄位和格式,否則flink也不知道你用的哪個字段
val env = streamexecutionenvironment.getexecutionenvironment
//從呼叫時刻開始給env建立的每個stream追加時間特性
env.setstreamtimecharcteristic(timecharacteristic.eventtime)
Python 3從入門到精通8 時間函式
有的時候寫程式要用到當前時間,我就想用 python去取當前的時間,好記性步入爛筆頭,自己做個筆記,以後好看。為了能夠更好的記住,我今天特意寫下python 當前時間這篇文章。取得時間相關的資訊的話,要用到python time模組,python time模組裡面有很多非常好用的功能,你可以去官方 ...
從13位時間戳中取對應日期
最近專案中遇到乙個小問題,在資料庫存的時間戳為13位,我在mysql只能轉10位,而我想要的只是13位時間戳對應時間的日期 月 日。在這裡我用到了幾個函式 round 四捨五入 因為最後三位對應的是毫秒時間,向上向下取整沒有實際作用,但是使用哪個都可以 from unixtime 將時間戳格式化 e...
Python 學習入門(10) 時間
python格式化日期時間的函式為datetime.datetime.strftime 由字串轉為日期型的函式為 datetime.datetime.strptime 兩個函式都涉及日期時間的格式化字串,列舉如下 a abbreviated weekday name a full weekday n...