barrier對⻬齊
1.什麼是barrier對⻬齊？
⼀旦operator從輸⼊入流接收到checkpoint barrier n，它就不能處理理來⾃該流的任何資料記錄，直到它從其他所有輸入接收到barrier n為止。否則，它會混合屬於快照n的記錄和屬於快照n + 1的記錄接收到barrier n的流暫時被擱置。從這些流接收的錄不會被處理，⽽是放⼊輸⼊緩衝區。
⼀旦最後所有輸入流都接收到barrier n，operator就會把緩衝區中pending 的輸出資料發出去，然後把checkpoint barrier n接著往下游傳送這里還會對⾃身進行快照之後，operator將繼續處理理來⾃所有輸⼊流的記錄，在處理來⾃流的記錄之前先處理來⾃輸⼊緩衝區的記錄
2.什麼是barrier不對齊？
barrier不對齊就是指當還有其他流的barrier還沒到達時，為了不影響效能，也不⽤理會，直接處理barrier之後的資料。等到所有流的barrier的都到達後，就可以對該operator做checkpoint了了
為什麼要進行barrier對齊？不對齊到底⾏不行？
答：exactly once時必須barrier對⻬齊，如果barrier不對⻬齊就變成了at least once
後⾯的部分主要證明這句話checkpoint的⽬的就是為了儲存快照，如果不對齊，那麼在chk-100快照之前，已經處理了⼀些chk-100 對應的offset之後的資料，當程式從chk-100恢復任務時，chk-100對應的offset之後的資料還會被處理一次所以就出現了重複消費。如果聽不懂沒關係，後⾯有案例讓您懂結合pv案例來看，之前的案例為了簡單，描述的kafka的topic只有1個partition，這⾥裡為了講述barrier對齊，所以topic有2個partittion
保證一致性嗎 Kafka的一致性保證
魚和熊掌不可兼得。系統設計需要根據具體的應用場景做出權衡。系統設計者可以通過配置kafka，來得到不同程度的需求滿足。每個kafka主題 topic 都分為多個分割槽 partitions 每個分割槽可以具有多個副本 replica 其中乙個副本是主分割槽 leader 所有讀寫請求都由主分割槽提供...
Flink 狀態一致性
當在分布式系統中引入狀態時，自然也引入了一致性問題。一致性實際上是 正確性級別 的另一種說法，也就是說在成功處理故障並恢復之後得到的結果，與沒有發生任何故障時得到的結果相比，前者到底有多正確？舉例來說，假設要對最近一小時登入的使用者計數。在系統經歷故障之後，計數結果是多少？如果有偏差，是有漏掉的計數...
flink 狀態一致性（十三）
狀態一致性1.有狀態的流處理，內部每個運算元任務都可以有自己的狀態 2.對於流處理內部來說，所謂的狀態一致性就是我們所說的計算結果要保證準確 3.一條資料不丟失，也不重複計算 4.在遇到故障時可以恢復狀態，恢復以後的重新計算，結果應該也是完成正確的狀態一致性分類 1.exactly once 恰好處...