broker - kafka集群包含乙個或多個伺服器，這種伺服器被稱為broker
producer - 訊息生產者，負責發布訊息到kafka broker
consumer - 訊息消費者，向kafka broker讀取訊息的客戶端
① 每個partition會建立3個備份replica,並分配到broker集群中； --replication-factor 3
② 用zookeeper來管理，consumer、producer、broker的活動狀態；
③ 分配的每個備份replica的id和broker的id保持一致；
④ 對每個partition，會選擇乙個broker作為集群的leader；
kafaka索引機制
偏移量索引檔案 偏移量到物理位置的乙個對映關係 時間戳索引檔案 根據乙個時間戳查詢偏移量資訊 kafka 中的索引檔案以稀疏索引 sparse index 的方式構造訊息的索引，它並不保證每個訊息在索引檔案中都有對應的索引項 由於kafaka都是順序寫的，所以可以找到目標訊息的最近的索引，然後再去二...
kafaka學習筆記
問題 兩個模組a b a生產訊息，b消費訊息，當a的速度 大於b的速度，a模組產生的資料的阻塞，有剩餘，對資料得處理有一定的影響。解決方案 新加模組c a發資料c,c將資料發給b。速度定義 分布式的訊息訂閱系統。優點 高可擴充套件，高容錯，分布式。缺點 複雜，訊息錯亂，重複訊息。分布式，可分割槽，可...
Kafaka基本概念
一 kafka簡介 1 訊息系統 2 jms 3 在生產者和消耗者之間無縫整合 4 開源分布式發布訂閱訊息系統 二 kafka特徵 1 持久化儲存訊息 2 高吞吐量，百萬 秒 3 分布式 4 多客戶端支援 5 實時性，生產者生產的訊息被消費者立即可見 三 架構圖 四 關於broker 1 kafka...