訊息中介軟體的工作模式
訊息中介軟體中的術語
kafka架構
kafka topic
kafka message
kafka producer
kafka broker
kafka consumer
kafka資料流
zookeeper在kafka中的作用
kafka是一種高吞吐量的分布式發布-訂閱 訊息系統,專為超高吞吐量的實時日誌採集、實時資料同步、實時資料計算等場景來設計
kafka中文官方文件
訊息中介軟體:是利用高效可靠的訊息傳遞機制進行非同步的資料傳輸,並基於資料通訊進行分布式系統的整合。通過提供訊息佇列模型和訊息傳遞機制,可以在分布式環境下擴充套件程序間的通訊。
非同步呼叫 同步變異步
應用解耦/可擴充套件性 提供基於資料的介面層
流量削峰 緩解瞬時高流量壓力
可恢復性
順序保障
1、 兩種模式
點對點模式 一對一
發布訂閱模式 一對多
2、發布訂閱模式又分
發布者主動推送模式
消費者主動拉取模式
kafka是訊息訂閱中的消費者拉取模式
kafka與flume不同之處在於 flume想發給多個人需要些多個sink
kafka訂閱模式不用
Kafka學習 基本概念
apache kafka是一種分布式的訊息中介軟體,什麼是訊息中介軟體,它是一種可靠的訊息傳輸機制,可以進行與平台無關的資料交流,並基於資料通訊完成訊息傳遞和佇列模型,可以在分布環境下擴充套件程序間的通訊 1.流處理平台的三個關鍵能力 發布和訂閱訊息 流 在這方面,它類似於乙個訊息佇列或企業訊息系統...
kafka基本概念
kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統,有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上,每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求,各分割槽的資料都按乙個可配置的量被複製到集群的其他...
kafka基本概念
1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中,topics被拆分為分割槽。對於每個主題,kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽,因此它可...