kafka中所有訊息是通過topic為單位進行管理，每個kafak的topic通常會有多個訂閱者，負責訂閱傳送到該topic的資料。kakfa負責管理集群中每個topic的一組日誌分割槽資料
生產者將資料傳送到相應的topic。負責定址將哪個分割槽傳送到topic的哪個partion？
例如 round-robin方式 或者基於key(hash取模），實現負載均衡
每組日誌分割槽都是乙個有序的不可變的日誌序列，分割槽中的每乙個record都被分配乙個唯一的序列編號稱為offset，kafka集群會持久化所有發布到topic的record資訊，預設是168小時
1.不能保證幾個分割槽之間的順序
2.同乙個分割槽是先進先出
高併發：快速響應
大資料： 海量資料
kafka通過分割槽，可以實現高併發、海量資料儲存
Kafka日誌及Topic資料清理
在介紹手動刪除操作之前，先簡單的介紹一下kafka消費offset原理。一 kafka消費offset 在通過client端消費kafka中的訊息時，消費的訊息會同時在zookeeper和kafka log中儲存，如上圖紅線所示。當手動刪除kafka某一分片上的訊息日誌時，如上圖藍線所示，此是只是將...
Kafka日誌及Topic資料清理
在介紹手動刪除操作之前，先簡單的介紹一下kafka消費offset原理。一 kafka消費offset 在通過client端消費kafka中的訊息時，消費的訊息會同時在zookeeper和kafka log中儲存，如上圖紅線所示。當手動刪除kafka某一分片上的訊息日誌時，如上圖藍線所示，此是只是將...
Kafka 學習筆記之 Topic日誌清理
topic日誌清理 server.properties log.cleanup.policy delete 預設 1.按時間維度進行kafka日誌清理 log.retention.hours 1 log.retention.minutes 60 log.retention.ms 3600000 2....