kafka的akf切分的三個維度
1.topic
邏輯元件
2.partition 分割槽
物理元件 乙個topic包含多個partition
分割槽內部是有序的,分割槽的外部是無序的
乙個消費者只在乙個分割槽中按照順序取資料的話,那麼它一定是像取佇列資料一樣,是按照推送到佇列的順序取的分割槽中的資料
3.副本
kafka只能在主分片上進行讀寫,副本只做資料備份不接受任何的讀寫請求
kafka的broker概念
borker就是kafka的乙個jvm程序
offset
訊息偏移量
消費者在正常執行的時候在記憶體中維護了自身的offset
老版本kafka把consumer的offset儲存到zookeeper中
新版kafka建立乙個topic專門用來儲存offset
offset儲存位置
zk, kafka topic, redis,mysql
offset儲存頻率
根據業務不同,採用不同的方式
根據offset不同的維護方式，消費者在消費的時候會有訊息的丟失和訊息的重複消費情況發生
producer 生產者
生產者是用來向partition填充資料用的
consumer 消費者
消費者是可以分組的，組和組之間是相互隔離的
kafka分割槽(partition)的作用
kafka的offset記錄方式
kafka 基礎知識，安裝及使用
kafka是一種高吞吐量的分布式發布訂閱訊息系統，它可以處理消費者規模的 中的所有動作流資料。這種動作 網頁瀏覽，搜尋和其他使用者的行動 是在現代網路上的許多社會功能的乙個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。kafka名詞解釋 kafka基基原理 訊息模型分為兩種...
C 基礎知識整理 基礎知識（2） 類
類，是物件導向語言的基礎。類的三大特性 封裝 繼承 多型。最基本的特性就是封裝性。程式設計師用程式描述世界，將世界的所有事物都看成物件，怎麼描述這個物件？那就是類了。也就是用類來封裝物件。用書上的話說，類是具有相同屬性和行為的物件的抽象。寶馬汽車 別克汽車 五菱之光汽車.基本具有相同的屬性和行為，所...
C 基礎知識整理 基礎知識（2） 類
類，是物件導向語言的基礎。類的三大特性 封裝 繼承 多型。最基本的特性就是封裝性。程式設計師用程式描述世界，將世界的所有事物都看成物件，怎麼描述這個物件？那就是類了。也就是用類來封裝物件。用書上的話說，類是具有相同屬性和行為的物件的抽象。寶馬汽車 別克汽車 五菱之光汽車.基本具有相同的屬性和行為，所...