生產者，發布訊息。
將訊息發布到指定的topic中，並負責決定發布到哪個分割槽。通常簡單的由負載均衡機制隨機選擇分割槽，但也可以通過特定的分割槽函式選擇分割槽。使用的更多的是第二種。
kafka將訊息種子(feed)分門別類， 每一類的訊息稱之為乙個topic。kafka的資料就儲存在topic。
topic的分割槽，每個topic可以有多個分割槽，分割槽的作用是做負載，提高kafka的吞吐量。同乙個topic在不同的分割槽的資料是不重複的，partition的表現形式就是乙個乙個的資料夾。
消費者，訂閱並獲取訊息。
通常來講，訊息模型可以分為兩種， 點對點模式和發布-訂閱模式。
5.1、 點對點模式：
一組消費者從伺服器讀取訊息，一條訊息只能被其中的乙個消費者來pull作處理，所有消費者競爭一條訊息。
5.2、發布-訂閱模式：
kafka為這兩種模型提供了單一的消費者抽象模型： 消費者組 （consumer group）。
消費者用乙個消費者組名標記自己。 乙個發布在topic上的訊息被分發給此消費者組中的乙個消費者。
更通用的， 我們可以建立一些消費者組作為邏輯上的訂閱者。每個組包含數目不等的消費者， 乙個組內多個消費者可以用來擴充套件效能和容錯。如圖：
多個消費者可以組成乙個消費者組，每個消費者組都有乙個groupid。同乙個消費組的消費者可以消費同一topic下不同分割槽的資料，但是同組內多個消費者不會消費同一分割槽的資料！
圖示是消費者組內的消費者小於partition數量的情況，所以會出現某個消費者消費多個partition資料的情況。多出來的消費者不消費任何partition的資料。所以在實際的應用中，建議消費者組的consumer的數量與partition的數量一致！
Kafka學習 入門
在進行如下配置前，首先要啟動zookeeper。1.進入kafka解壓目錄 2.啟動kafka bin windows kafka server start config server.properties3.建立topic和檢視機器上topic 4.傳送資料 5.開始消費資料 bin window...
kafka入門學習
為了解決流式處理，也解決原版本較為死板的c通訊檔案，現在引入kafka來進行多併發等問題的處理。2019年03月08日14 19 21 此處解壓到 usr local目錄下 tar zxvf kafka 2.10 0.8.2.2.tgz c usr local cd usr local kafka ...
Kafka入門學習 基礎
kafka是什麼 kafka是最初由linkedin公司開發，是乙個分布式 支援分割槽的 partition 多副本的 replica 基於zookeeper協調的分布式訊息系統，它的最大的特性就可以實時的處理大量資料以滿足各種需求場景 比如基於hadoop的批處理系統 低延遲的實時系統 storm...