本章要說的hw和leo和isr有關聯，isr之前總結過，這裡不再說。
hw --- high watermark（高水位），用於標識特定的offset，消費者只能拉取到hw之前的訊息
leo --- log end offset，某個分割槽要寫入下一條訊息的offset
lso --- log start offset ，某個分割槽起始的offset
接下來總結下isr與hw/leo的關係
前提：某分割槽有3個副本，當前狀態下，hw和leo均為2，offset為3和4的訊息將要被寫入分割槽
訊息被寫入leader後，follower會主動從leader拉取訊息進行訊息同步；
但是不同副本拉取訊息的效率不同，某一時刻，follower1拉取訊息完成，但是follower2只拉取了訊息3，此時follower1的hw為5，follower2的hw為4，那麼該分割槽的hw取最小值4，
消費者只能拉取到0~3offset的訊息
當follower2同步leader完成後，follower2的hw為5，整個分割槽的hw為5
通過該方式，kafka集群很大程度上保證了leader宕機後，資料的丟失
Kafka學習總結
kafka是乙個分布式的基於發布 訂閱模式的訊息佇列，主要應用於大資料實時處理領域。1.2.1傳統訊息佇列的應用場景 1.2.2訊息佇列的兩種模式 1 點對點模式 一對一，消費者主動拉取資料，訊息收到後訊息清除 訊息生產者生產訊息傳送到queue中，然後訊息消費者從queue中取出並且消費訊息。訊息...
kafka學習總結之kafka核心
1 kafka核心元件 1 replication 副本 partition 分割槽 乙個topic可以有多個副本，副本的數量決定了有多少個broker存放寫入的資料 副本是以partition為單位的，存放副本即是備份若干個partition，但是只有乙個partition被選為leader用於讀...
kafka學習知識點總結（一）
kafka sparkstreaming 有什麼好處 1 解耦 2 緩衝 系統之間解耦合 峰值壓力緩衝 非同步通訊 kafka訊息佇列的特點 可靠性保證 自己不丟資料，消費者不丟資料 訊息系統的特點 生產者消費者模式 fifo partition內部是fifo的，partition之間不是fifo的...