kafka基本概念簡介

2021-10-23 01:52:49 字數 751 閱讀 7266

按照官方的說法,kafka是乙個分布式流平台。實際使用中kafak主要作為乙個中間人,提供資料非同步處理的能力,同時可以對資料進行不同的處理。比如不同的消費者,對資料進行不一樣的邏輯處理

topic(主題):就是同一類訊息的名稱,例如資料庫的乙個表裡面儲存了同一種型別的資料,同乙個主題處理的也是同一類的訊息

server(伺服器):就是一台機器,實體機虛擬機器都可以,有單獨的ip,乙個集群有很多臺伺服器組成

partition(分割槽):核心概念,就是乙個主題可以有多個分割槽,分布在不同的伺服器上。這裡舉乙個例子,有一條叫做kafka(主題)的高速公路,這條高速公路有2條道(分割槽),這樣在車流量小的時候沒什麼問題,但是如果車流量很大可能就會堵車,但是如果有8條道(分割槽),可以提高單位時間內的車流量。每個分割槽就相當於一條車道,可以並行的處理資料,大大提高資料的流量。

zookeeper,主要作為資料協同者,主要是整個集群資訊的管理,比如乙個主題(topic)有幾個分割槽在哪些服務上,乙個分割槽的leader是誰等等事情。

生產者:就是往kafka中推送資料的應用

消費者:就是從kafak中拉取資料進行處理的應用

高可用:每個分割槽有乙個leader和若干個副本,並且leader和副本分布在不同的伺服器上,就算一台伺服器掛了,影響也不大。leader主要負責讀寫,副本只是做資料的複製和備份,在leader掛了之後及時頂替leader繼續提供服務。

可擴充套件,高效能:由於可以進行水平擴充套件,當伺服器壓力比較大的時候,可以通過新增伺服器,擴充套件分割槽來減小每台伺服器的壓力,提高效能。

Kafka 簡介及基本概念

6.other kafka 是乙個分布式流平台 apache kafka is a distributed streaming platform 功能 應用 幾個認識 1.zookeeper 註冊中心 zookeeper 乙個 分布式協調框架 管理 kafka 集群中的 broker 節點 bin ...

kafka基本概念

kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統,有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上,每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求,各分割槽的資料都按乙個可配置的量被複製到集群的其他...

kafka基本概念

1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中,topics被拆分為分割槽。對於每個主題,kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽,因此它可...