流程圖詞彙topic：主題producer：生產者
consumer：消費者
consumer-group：消費者組
offset：偏移量
follower：副本
要點概述kafka是以topic進行分類的，由producer生產資料傳送到topic，再被consumer進行消費，同時offset會記錄每個分割槽的消費進度，就算中途掛掉了，下次也會從offset開始繼續消費每個topic可以有多個分割槽，每個分割槽可以配置1個或多個副本，形成leader-follower的關係，leader和follower不會在同乙個節點上（這點和elasticsearch類似）
每個分割槽只能被乙個consumer消費，如果consumer數量比分區還多，會存在部分consumer閒置，沒有資料可以消費
kafka簡要概述
生產者種類多，資料格式不同，資料來源眾多，消費者種類多 使用生產者和消費者模式進行解耦 消費者無法依據自身處理情況輪詢拉取資料 提供資料持久化，適配多個消費者 訊息系統無法橫向擴充套件 系統隨流量進行很想擴充套件，使用訊息批次加壓縮的模式提高訊息傳輸效率通過主題對訊息進行分類 配置項 partiti...
kafka工作原理介紹
中間的kafka cluster，儲存訊息，是由多個server組成的集群。2 topic與訊息 kafka將所有訊息組織成多個topic的形式儲存，而每個topic又可以拆分成多個partition，每個partition又由乙個乙個訊息組成。每個訊息都被標識了乙個遞增序列號代表其進來的先後順序，...
Kafka高併發原理概述
kafka是高吞吐低延遲的高併發 高效能的訊息中介軟體，在大資料領域有極為廣泛的運用。配置良好的kafka集群甚至可以做到每秒幾十萬 上百萬的超高併發寫入。那麼kafka到底是如何做到這麼高的吞吐量和效能的呢？這篇文章我們來一點一點說一下。首先kafka每次接收到資料都會往磁碟上去寫，如下圖所示。那...