頂級Apache Kafka術語和概念

2022-03-03 03:42:06 字數 2603 閱讀 5631

基本上,

kafka架構

包含很少的關鍵術語,如主題,製作人,消費者,

經紀人等等。要詳細

了解apache kafka

,我們必須首先理解這些關鍵術語。

因此,在本文「kafka術語」中,我們將學習所有這些kafka術語,這將有助於我們建立kafka知識的堅實基礎。

那麼,讓我們從apache kafka術語開始。

apache kafka術語和概念

在這篇apache kafka教程中,下面列出了最突出的kafka術語,這些術語可以幫助我們建立kafka知識的堅實基礎。

一世。卡夫卡經紀人

apache kafka集群中有乙個或多個伺服器,基本上,這些伺服器(每個)都是我們稱之為

**的伺服器

。ii。

卡夫卡話題

基本上,kafka維護類別中的訊息提要。

並且,訊息儲存以及發布在我們稱之為主題的類別/提要名稱中。

此外,所有kafka訊息通常都被組織成kafka主題。

卡夫卡應用程式

iii。

卡夫卡分割槽

在kafka的每個**中,都有一些分割槽。

kafka中的這些kafka分割槽既可以是主題的領導者,也可以是主題的副本。

因此,在定義領導者時,它負責對主題的所有寫入和讀取,而如果領導者以某種方式失敗,則副本將接管新的領導者。

iv。卡夫卡製片人

簡單來說,向kafka發布訊息的過程就是我們所說的

producers

。此外,它還發布有關其選擇主題的資料。

v。卡夫卡消費者

訂閱主題和流程以及閱讀已發布訊息的訂閱源的流程就是我們所說的

消費者。

六。卡夫卡的抵消

消費者在日誌中的位置以及按消費者保留的位置就是我們所說的offset。

而且,我們可以說它是每個消費者保留的唯一元資料。

七。卡夫卡消費者集團

基本上,kafka提供的消費者抽象概括了排隊和發布訂閱的傳統訊息模型,我們稱之為消費者群體。

但是,使用消費者群體名稱,消費者可以標記自己。

讓我們修改apache kafka workflow | 

kafka pub-sub messaging

八。kafka log anatomy

日誌與檢視分割槽的另一種方式完全不同。

基本上,資料來源將訊息寫入日誌。

此外,乙個或多個消費者在他們想要的任何時間從日誌中讀取該資料。

讓我們用圖表來理解它,這裡消費者a和b正在讀取乙個資料來源,該資料來源寫入日誌並從日誌中寫入不同的偏移量。

卡夫卡的日誌解剖

九。kafka訊息訂購和客戶致謝

在kafka中,從某個分割槽傳遞的訊息的順序和分割槽接收的訊息是相同的。 

x。卡夫卡節點

在apache kafka集群中,節點是一台計算機。

十一。卡夫卡集群

為實現共同目的而共同行動的一組計算機

就是我們所說的集群

。在kafka中,它具有相同的含義,即一組計算機,每個計算機都有乙個kafka經紀人例項。

探索卡夫卡的優勢與劣勢

十二。 卡夫卡複製品

這裡,單詞副本指的是備份。

這意味著分割槽的副本是分割槽的「備份」。

基本上,我們使用副本以防止資料丟失,他們從不讀取或寫入資料。

十三。卡夫卡訊息

在一行中,kafka中的訊息是通過apache kafka從生產者傳遞給消費者的資訊。

十四。卡夫卡領袖

負責給定分割槽的所有讀寫的節點就是我們所說的kafka leader。

因此,每個分割槽都包含乙個伺服器,它充當領導者。

十五。卡夫卡的追隨者

簡單地說,遵循領導者指令的節點就是我們所說的追隨者。

追隨者的基本用法是,如果任何領導者失敗,這些追隨者中的任何乙個將自動成為新的領導者。

讓我們用命令學習apache kafka operations

十六。卡夫卡資料日誌

訊息通過kafka儲存,特別是在相當長的時間內。

這意味著消費者可以根據自己的方便閱讀。

由於kafka被配置為將訊息保持24小時,但消費者在某種程度上停留的時間超過24小時,在這種情況下,消費者將丟失訊息。

儘管如此,只有當部分消費者的停機時間僅為60分鐘時,才能從上次已知的偏移中讀取該訊息。

十七。 kafka connector api

允許構建以及執行可重用消費者或生產者的api,將現有應用程式或資料系統連線到kafka主題,我們使用connector api。 

所以,這完全是關於apache kafka術語。

希望你喜歡我們的解釋。

讓我們修改kafka performance tuning - kafka optimization的方法

因此,這個apache kafka教程總結了大多數重要的apache kafka術語。

此外,本文還介紹了這些術語如何在apache kafka計算中發揮重要作用。

此外,幫助我們更深入地了解卡夫卡。

因此,這個部落格將幫助我們更有效地學習apache kafka的概念。

另請參閱 -  

apache kafka + spark streaming integration 

供參考

《Apache Kafka》學習筆記

1.什麼是kafka kafka是乙個高通過率的分布式訊息系統 2.訊息佇列 message queue mq的模型 訊息佇列的簡單架構圖 3個核心概念 message queue 訊息佇列 訊息排隊,訊息就是資料。通過訊息模型可以完成乙個系統和另乙個系統的互動,系統的通訊也就是系統與系統的呼叫。訊...

Apache Kafka教程A系列 介紹

在大資料中,使用了大量的資料。關於資料,我們有兩個主要挑戰。第乙個挑戰是如何收集大量資料,第二個挑戰是分析收集的資料。為了克服這些挑戰,您必須使用訊息傳遞系統。卡夫卡專為分布式高吞吐量系統而設計。卡夫卡傾向於非常好地取代傳統的資訊 者。與其他訊息系統相比,kafka具有更好的吞吐量,內建分割槽,複製...

Apache Kafka系列之Kafka介紹

kafka是乙個分布式的 分割槽的 多複本的日誌提交服務。它通過一種獨一無二的設計提供了乙個訊息系統的功能。所有的這些意味著什麼?1 kafka維護按類區分的訊息,稱為主題 topic 2 生產者 producer 向kafka的主題發布訊息 3 消費者 consumer 向主題註冊,並且接收發布到...