kafka中用水位來描述，
乙個分割槽中的可見資料的offset。
大概你需要知道這幾點：
hw(水位)你可以理解成是乙個全域性(所有副本最小offset)的offset，
針對的是乙個分割槽
leo代表著該副本的所有訊息的最大offset，
針對的是乙個副本，也就是每個副本都有leo，並且不一樣。
其中所有副本中最小的leo就是水位
水位
為了保障資料的一致性
當 leader收到一條訊息並寫入成功，
其leo則和馬上 +1.
副本會定期去和leader進行同步，
每同步乙個訊息，其自己的leo相應+1，
而水位則是所有副本最小的leo，
所以也會慢慢進行增加。
oracle 高水位線詳解
一 什麼是水線 high water mark 所有的oracle段 segments，在此，為了理解方便，建議把segment作為表的乙個同義詞 都有乙個在段內容納資料的上限，我們把這個上限稱為 high water mark 或hwm。這個hwm是乙個標記，用來說明已經有多少沒有使用的資料塊分配...
kafka詳解一 Kafka簡介
分類 kafka 2014 08 18 10 45 375人閱讀收藏 舉報 背景 當今社會各種應用系統諸如商業 社交 搜尋 瀏覽等像資訊工廠一樣不斷的生產出各種資訊，在大資料時代，我們面臨如下幾個挑戰 如何收集這些巨大的資訊 如何分析它 如何及時做到如上兩點 以上幾個挑戰形成了乙個業務需求模型，即生...
詳解Kafka事務
kafka從0.11版本開始引入了事務支援。事務可以保證kafka在exactly once語義的基礎上，生產者和消費者可以跨分割槽會話，要麼全部成功，要麼全部失敗。1.producer 事務 2.consumer 事務 上述事務機制主要是從 producer 方面考慮，對於 consumer 而言...