一.訊息佇列的兩個模式和特點
兩個模式：點對點模式（一對一，消費者主動拉取資料，訊息收到後訊息清楚）； 發布/訂閱模式（一對多，資料生產後，推送給所有訂閱者）
8大特點：
1.解耦
2.冗餘
3.擴充套件性
4.靈活性&峰值處理能力
5.可恢復性
6.順序保證
7.緩衝
8.非同步通訊
佇列：先進先出 棧：先進後出
二. 什麼是kafka
kafka是一種歐冠高吞吐量的分布式發布訂閱消息佇列（所以有集群概念，底層是scala, kafka版本分為兩部分來看，第一部分是scala版本）。kafka儲存資料在每乙個主題裡，即topic。
topic要有入口和出口，入口->生產者（producer）出口->消費者（consumer），此外kafka集群有多個kafka例項組成，每個例項（server）稱為broker。
無論是kafka集群，還是consumer都依賴於zookeeper集群儲存一些meta資訊，來保證系統可用性。
四.kafka 架構
五.常用命令
建立主題: kafka-topics.bat --create --zookeeperlocalhost:2181 --replication-factor 2 --partition 3 --topic test4
說明：replication-factor 2 備份2
partition 3 分割槽3
topic test4 主題的名字
檢視主題：
kafka-topics.bat --zookeeper localhost:2181 --describe test4
常用命令來自：【
大資料學習之 Kafka 篇
一 簡介 一種分布式的基於發布 訂閱的訊息系統 二 場景 常用組合 常用 flume 收集資料 kafka 把收集來的資料儲存到kafka spark streaming 使用spark streaming 從kafka中取資料 運用場景 1.系統之間的解耦合 2.峰值壓力緩衝 3.非同步通訊 三 ...
大資料（Kafka） 原理
在kafka中向topic傳送訊息者稱為producer，從topic獲取資料者稱為consumer，consumer被定義到乙個consumer group中，整個kafka集群通過zookeeper進行協調 kafka集群由多個broker例項組成，訊息按照topic進行分類儲存，每個topic...
大資料架構 Kafka
kafka 分布式的發布 訂閱訊息系統，主要用於處理活躍的資料 特點 高吞吐量 每秒百萬級別的生產消費 生產消費 永續性 由完善的訊息儲存機制，確保資料的高效安全的持久化 中間儲存 分布式 基於分布式的儲存和容錯機制 整體的健壯性 kafka的元件 kafka服務 topic 主題 kafka處理的...