大資料學習 kafka基本概念

2021-10-23 16:40:43 字數 878 閱讀 2370

訊息中介軟體的工作模式

訊息中介軟體中的術語

kafka架構

kafka topic

kafka message

kafka producer

kafka broker

kafka consumer

kafka資料流

zookeeper在kafka中的作用

kafka是一種高吞吐量的分布式發布-訂閱 訊息系統,專為超高吞吐量的實時日誌採集、實時資料同步、實時資料計算等場景來設計

kafka中文官方文件

訊息中介軟體:是利用高效可靠的訊息傳遞機制進行非同步的資料傳輸,並基於資料通訊進行分布式系統的整合。通過提供訊息佇列模型和訊息傳遞機制,可以在分布式環境下擴充套件程序間的通訊。

非同步呼叫 同步變異步

應用解耦/可擴充套件性 提供基於資料的介面層

流量削峰 緩解瞬時高流量壓力

可恢復性

順序保障

1、 兩種模式

點對點模式 一對一

發布訂閱模式 一對多

2、發布訂閱模式又分

發布者主動推送模式

消費者主動拉取模式

kafka是訊息訂閱中的消費者拉取模式

kafka與flume不同之處在於 flume想發給多個人需要些多個sink

kafka訂閱模式不用

Kafka學習 基本概念

apache kafka是一種分布式的訊息中介軟體,什麼是訊息中介軟體,它是一種可靠的訊息傳輸機制,可以進行與平台無關的資料交流,並基於資料通訊完成訊息傳遞和佇列模型,可以在分布環境下擴充套件程序間的通訊 1.流處理平台的三個關鍵能力 發布和訂閱訊息 流 在這方面,它類似於乙個訊息佇列或企業訊息系統...

kafka基本概念

kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統,有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上,每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求,各分割槽的資料都按乙個可配置的量被複製到集群的其他...

kafka基本概念

1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中,topics被拆分為分割槽。對於每個主題,kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽,因此它可...