kafka官方介紹：kafka是乙個分布式的流處理平台(0.10.x版本)，在kafka0.8.x版本的時候，kafka主要是作為乙個分布式的、可分割槽的、具有副本數的日誌服務系統(kafka™ is adistributed,partitioned,replicatedcommit log service), 具有高水平擴充套件性、高容錯性、訪問速度快、分布式等特性；主要應用場景是：日誌收集系統和訊息系統
資料在kafka上的分布簡單描述圖：
kafka基本術語
message(訊息)：傳遞的資料物件，主要由四部分構成：offset(偏移量)、key、value、timestamp(插入時間)； 其中offset和timestamp在kafka集群中產生，key/value在producer傳送資料的時候產生
broker(**者)：kafka集群中的機器/服務被成為broker， 是乙個物理概念。
topic(主題)：維護kafka上的訊息型別被稱為topic，是乙個邏輯概念。
partition(分割槽)：具體維護kafka上的訊息資料的最小單位，乙個topic可以包含多個分割槽；partition特性：ordered & immutable。(在資料的產生和消費過程中，不需要關注資料具體儲存的partition在那個broker上，只需要指定topic即可，由kafka負責將資料和對應的partition關聯上)
producer(生產者)：負責將資料傳送到kafka對應topic的程序
consumer(消費者)：負責從對應topic獲取資料的程序
consumer group(消費者組)：每個consumer都屬於乙個特定的group組，乙個group組可以包含多個consumer，但乙個組中只會有乙個consumer消費資料。
kafka基本概念
kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統，有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上，每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求，各分割槽的資料都按乙個可配置的量被複製到集群的其他...
kafka基本概念
1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中，topics被拆分為分割槽。對於每個主題，kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽，因此它可...
kafka 基本概念
訊息 訊息相當於資料庫中的記錄，kafka中的的訊息是二進位制訊息流，所以kafka中的訊息沒有特別的格式或者含義 批次 訊息可以分批次的被傳送，這樣可以提高效率，單條訊息穿梭於網路間，會導致大量的網路開銷，批次越大單位時間內處理的訊息就越多，單個訊息的傳輸時間就越長，批次訊息會被壓縮 可以提公升效...