kafka 九 Kafka訊息的可靠性

沒有乙個中介軟體能夠做到百分之百的完全可靠，可靠性更多的還是基於幾個9的衡量指標，比如4個9、5 個9. 軟體系統的可靠性只能夠無限去接近100%，但不可能達到100%。所以kafka如何是實現最大可能的可靠性呢？

你可以建立更多的分割槽來提公升可靠性，但是分割槽數過多也會帶來效能上的開銷，一般來說，3個副本就能滿足對大部分場景的可靠性要求

生產者傳送訊息的可靠性，也就是我要保證我這個訊息一定是到了broker並且完成了多副本的持久化，但這種要求也同樣會帶來效能上的開銷。它有幾個可選項:

1 ，生產者把訊息傳送到leader副本，leader副本在成功寫入到本地日誌之後就告訴生產者訊息提交成功，但是如果isr集合中的follower副本還沒來得及同步leader副本的訊息，leader掛了，就會造成訊息丟失

-1 ，訊息不僅僅寫入到leader副本，並且被isr集合中所有副本同步完成之後才告訴生產者已經提交成功，這個時候即使leader副本掛了也不會造成資料丟失。

0：表示producer不需要等待broker的訊息確認。這個選項時延最小但同時風險最大（因為當server宕機時，資料將會丟失）。保障訊息到了broker之後，消費者也需要有一定的保證，因為消費者也可能出現某些問題導致訊息沒有消費到

預設為true，也就是自動提交offset，自動提交是批量執行的，有乙個時間視窗，這種方式會帶來重複提交或者訊息丟失的問題，所以對於高可靠性要求的程式，要使用手動提交。對於高可靠要求的應用來說，寧願重複消費也不應該因為消費異常而導致訊息丟失