memorystatebackend
public memorystatebackend(
)
val env: streamexecutionenvironment = streamexecutionenvironment.getexecutionenvironment
//配置使用memorystatebackend
env.setstatebackend(
new memorystatebackend)
public fsstatebackend(
string checkpointdatauri)
val env: streamexecutionenvironment = streamexecutionenvironment.getexecutionenvironment
//配置使用fsstatebackend
env.setstatebackend(
new fsstatebackend(
"儲存路徑"
))
rocksdbstatebackend比較特殊，如果需要使用，需要新增依賴：根據自己的使用的scala和flink版本進行修改
org.apache.flink
flink-statebackend-rocksdb_2.11
1.10.1
public rocksdbstatebackend(
string checkpointdatauri, boolean enableincrementalcheckpointing) throws ioexception
val env: streamexecutionenvironment = streamexecutionenvironment.getexecutionenvironment
//rocksdbstatebackend除了配置儲存路徑，還需要配置是否增量儲存，否則就是全量儲存
env.setstatebackend(
new rocksdbstatebackend(
"儲存路徑"
,true
))
Flink狀態後端和CheckPoint機制
6.8.5 狀態後端 什麼是狀態後端？每傳入一條資料，有狀態的運算元任務都會讀取和更新狀態。狀態的儲存 訪問以及維護，由乙個可插入的元件決定，這個元件就是狀態後端。狀態後端的作用？本地的狀態管理 將檢查點 checkpoint 狀態寫入遠端儲存 1 狀態後端分類 memorystatebackend...
Flink的狀態管理與狀態後端
flink是乙個基於狀態計算的流計算服務。flink將所有的狀態分為兩大類 keyed state 與 operator state 所謂的keyed state指的是flink底層會給每乙個key繫結若干個型別的狀態值，特指操作 keyedstream中所涉及的狀態。所謂operator stat...
Flink 狀態管理
有些任務的結果不僅僅依賴於當前的輸入，也依賴於之前的輸入結果資訊，因此對中間結果狀態等的儲存就很有必要。在flink中，我們可以這樣理解state 某task operator在某時刻的乙個中間結果。flink提供了豐富的狀態訪問介面和高效的容錯機制，當前flink中有兩個基本的state keye...