一、基礎
kafka是乙個流處理平台，是乙個訊息對列，但不僅僅是乙個訊息佇列。
1.producer ：訊息和資料的生產者，向kafka的乙個topic發布訊息。
2.conusmer
(1)conusmer：訊息和資料的消費者，訂閱資料（topic）並且處理其發布的訊息。
(2)consumer group :對於同乙個topic，會廣播給不同的group,乙個group中，只有乙個consumer可以消費該資訊。
//以組的方式進行排程consumer，消費topic（讀取topic的乙個或多個partition）。使用consumer group可以容錯，提高效能。
3.broker
（1）broker:kafak集群中每個kafka的節點。
（2）broker group:按照broker進行分組，同乙個partition不會被多個broker同時儲存。當乙個partiiton非常大的時候，可以通過多個broker同時儲存，但不會被儲存多份。
4.topic
（1）topic：kafak訊息類別，對資料進行區分、隔離。
（2）partition：資料儲存的基本單元。乙個topic資料會被分散到多個partition,每乙個partition都是有序的。
消費者數目<= partition的數目
5.replication（備胎）
（1）基本單位是partition
（2）所有讀和寫都從leader進，follower只做備份，且follower必須能夠及時複製keader的資料；
（3）增加了容錯與可擴充套件性
當集群中有broker掛掉，系統可以主動使用replication提供服務，系統預設設定每乙個topic的replication係數為1,可以在建立topic時單獨配置。
kafka基本概念
kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統，有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上，每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求，各分割槽的資料都按乙個可配置的量被複製到集群的其他...
kafka基本概念
1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中，topics被拆分為分割槽。對於每個主題，kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽，因此它可...
kafka 基本概念
訊息 訊息相當於資料庫中的記錄，kafka中的的訊息是二進位制訊息流，所以kafka中的訊息沒有特別的格式或者含義 批次 訊息可以分批次的被傳送，這樣可以提高效率，單條訊息穿梭於網路間，會導致大量的網路開銷，批次越大單位時間內處理的訊息就越多，單個訊息的傳輸時間就越長，批次訊息會被壓縮 可以提公升效...