知識點:
訊息佇列:發布(pub)/訂閱模式,點對點(p2p)模式
kafka:是乙個分布式、支援分割槽的(partition)、多副本的(replica),基於zookeeper協調的分布式訊息系統
特性: 可以實時的處理大量資料以滿足各種需求場景
broker:kafka節點,乙個kafka節點就是乙個broker,多個broker可以組成乙個kafka集群
topic:一類訊息,訊息存放的目錄即主題,例如page view日誌、click日誌等都可以以topic的形式存在,kafka集群能夠同時負責多個topic的分發
partition:topic物理上的分組,乙個topic可以分為多個partition,每個partition是乙個有序的佇列,可以削峰,負載均衡等。
consumer group:乙個consumer group包含多個consumer
leaders / followers 以及 同乙個消費者組不能同時消費同乙個分割槽的資料。
所有處理都由leader處理,followers只做備份用。
ack 應答機制:0 1 all ,0 傳送不需要管kafka是否接收到資料,1 確保leader接收到資料,all確保leader和所有followers都備份
RabbitMQ和Kafka對比以及場景使用說明
1.架構模型 rabbitmq rabbitmq遵循amqp協議,rabbitmq的broker由exchange,binding,queue組成,其中exchange和binding組成了訊息的路由鍵 客戶端producer通過連線channel和server進行通訊,consumer從queue...
RabbitMQ和Kafka對比以及場景使用說明
我目前的專案最後使用的是rabbitmq,這裡依然是結合網上大神們的優秀部落格,對kafka和rabbitmq進行簡單的比對。最後附上參考部落格。1.架構模型 rabbitmq rabbitmq遵循amqp協議,rabbitmq的broker由exchange,binding,queue組成,其中e...
訊息佇列 Kafka和rabbitMQ
0.建立topic bin kafka topics.sh create zookeeper localhost 2181 replication factor1 partitions1 topic test 1.檢視kafka topic列表 bin kafka topic.sh zoopkeep...