kafka基礎架構圖如下
生產者負責向某個topic傳送訊息，發訊息的時候可以指定分割槽
topic包含多個partition，每個partition又有leader和follower，leader和follower在不同的broker上。建立topic的時候副本數不能大於broker個數
消費者組負責消費某個topic的訊息
如果分割槽數多於消費者個數，那麼存在乙個消費者消費多個分割槽的資料。
如果分割槽數等於消費者個數，那麼每個消費者消費乙個分割槽的資料
如果分割槽數大於消費者個數，那麼存在消費者不消費資料。
所以消費者個數等於分割槽數的時候消費速度最快，又不浪費資源
1 儲存kafka基本資訊
2 0.9之前儲存消費者消費的offset，0.9之後儲存在kafka本地的乙個系統級的topic中。原因是offset經常改變，不應該頻繁訪問zk
kafka 學習（二）單機安裝kafka
參考 解壓後2.3.0才是kafka版本 2.12是kafka依賴的scala版本 kafka 2.12 2.3.0 kafka依賴於zookeeper 需安執行zookeeper，才能執行kafka kafka2.30這個版本內建了zookeeper 在kaka目錄下執行命令 bin window...
Kafka基礎 Kafka架構
目錄kakfa 架構 kafka最初是由linkedin公司採用scala語言開發的乙個多分割槽 多副本並且基於zookeeper協調的分布式訊息系統，現在已經捐獻給了apache 會。目前kafka已經定位為乙個分布式流式處理平台，它以 高吞吐 可持久化 可水平擴充套件 支援流處理等多種特性而被廣...
Kafka入門學習 基礎
kafka是什麼 kafka是最初由linkedin公司開發，是乙個分布式 支援分割槽的 partition 多副本的 replica 基於zookeeper協調的分布式訊息系統，它的最大的特性就可以實時的處理大量資料以滿足各種需求場景 比如基於hadoop的批處理系統 低延遲的實時系統 storm...