checkpoint的原理
flink checkpoint是一種容錯恢復機制，保證 flink 任務執行突然失敗時，能夠從最近 checkpoint 進行狀態恢復啟動，進行錯誤容忍，是在chandy–lamport演算法的基礎上實現的一種分布式快照演算法，其內部使用分布式資料流輕量級非同步快照。
checkpoint流程
checkpoint的內容
checkpoint支援語義
exactly once實現方式
kafka只有乙個partition，exactly once 和 at least once有沒有區別
checkpoint狀態保留策略
checkpoint潛在問題及解決方案
checkpoint barrier對齊時，必須等待所有上游通道都處理完，假如某個上游通道處理很慢，這可能造成整個資料流堵塞
checkpoint失敗原因分析
checkpoint慢的原因分析
barrier 對齊慢
同步階段做的慢
非同步階段做的慢
使用全量checkpoint
作業存在反壓或者資料傾斜
主線程太忙，導致沒機會做 snapshot
參考
Checkpoint 相關問題
checkpoint是例項級別還是資料庫級別？答 資料庫級別，在sql server關閉時，會對所有資料庫逐一提交checkpoint 測試 use db0002 gocheckpoint goselect into tb1001 from sys.all columns goselect coun...
Checkpoint的原理剖析
作用 spark的容錯機制，避免重新計算資料 1.如何進行checkpoint？sparkcontext.setcheckpointdir rdd.checkpoint 具體轉變 對rdd呼叫checkpoint 方法之後，它就接受了rddcheckpointdata物件的管理 rddcheckpo...
MySQL中的checkpoint機制
檢查點 checkpoint 一種讓資料庫redo和data檔案保持一致的機制 作用 將bp中的髒頁刷盤 通過頻度適當的刷盤，減少例項恢復時間 重做日誌不夠用時，將髒頁刷盤 實現通過lsn實現 例項恢復時，假如checkpointlsn 1000,而redolsn 1200，則lsn 1001,12...