《flink基礎教程》讀後心得

2021-09-29 05:45:11 字數 1117 閱讀 7345

無狀態流處理和有狀態流處理區別:黑條代表輸入記錄,無狀態流處理每次只轉換一條輸入記錄,並且根據最新的輸入記錄輸出結果(白條);有狀態流處理維護所有已處理記錄的狀態值,並根據每條輸入記錄更新狀態,因此輸出記錄(灰條)是綜合考慮多個事件後的結果 

在流處理中一致性分為三個級別

exactly-once:保證故障發生後得到的計算結果和正確值保持一致

flink檢查點演算法的正式名稱是非同步屏障快照。由flink自動生成,用來故障發生時重新用來處理記錄從而修正狀態。。此處理解不夠深刻,後續搞個專題出來

儲存點和檢查點的工作方式完全相同,只不過儲存點是由使用者通過flink命令或者web控制台手動觸發,而不是由flink自動觸發,和檢查點一樣,儲存點也被儲存在穩定儲存中。使用者可以從儲存點重啟作業而不用從頭開始 。

儲存點的用途:1.應用程式**公升級;2.flink版本更新:可以針對正在執行的任務觸發儲存點,從該儲存點處執行flink新版本重啟任務;3.維護和遷移:使用儲存點可以輕鬆的暫停和恢復應用程式;4.假設模擬和恢復:在可控點上執行其他的業務邏輯,以模擬假設的場景;5.a/b測試:在同乙個儲存點開始,並行的執行應用程式兩個不同的版本,有助於進行a/b測試。

根據輸出儲存系統的型別,flink及與之相同的聯結器可以保證端到端的一致性,並且支援多種隔離級別

直接查詢狀態可以簡化架構,同時大幅提公升效能

檢查點機制和狀態機制:用於實現容錯和有狀態的處理

水印機制:用於實現事件時鐘

視窗和觸發器:用於限制計算範圍,並定義呈現結果的時間   

用於排程和恢復的重溯法

用於雜湊和排序的特殊記憶體資料結構:可以在需要時將一部分資料從記憶體溢寫到磁碟上

優化器:盡可能的縮短生成結果的時間

Flink基礎 Table API教程

1.table api特點 使得多宣告的資料處理起來更為容易,擴充套件標準sql更為容易 如何得到乙個表 1.自己寫table的描述資訊 2.通過自定義tablesouce註冊到env中 3.datastream也可以通過註冊得到乙個表 如何輸出乙個table 和輸入的三種方式是一致的 如何查詢乙個...

XSL基礎教程

xsl基礎教程 一 http www 128.ibm.com developerworks cn xml ccidnet xslfund index1.html xsl基礎教程 二 http www.ibm.com developerworks cn xml ccidnet xslfund inde...

ps基礎教程

ps基礎教程 軟體簡介 推薦版本 流行多用的版本cs2 cs5,推薦cs3和cs5,cs2版本較舊,不推薦使用。基礎教學目錄 第一課 photoshop工具欄的使用01 第二課 工具欄的使用02 第三課 photoshop圖層 第四課 色彩原理和圖層的混合模式 第五課 圖層的樣式 第六課 圖層蒙版和...