kafka的基本體系結構

2022-01-10 00:00:28 字數 1158 閱讀 7297

使用場景

大資料:資料量和速率激增,資料型別越來越複雜

應用開發:訊息引擎,應用解耦,分布式儲存,流處理

topic : 主題(訊息的邏輯分類)

客戶端: 細分為生產者(朝主題傳送訊息), 消費者(讀取主題的訊息);

服務端: broker (1 處理客戶端傳送和提供消費支援  2 訊息持久化)

訊息架構

1,乙個主題可以劃分為x個領導分割槽,分布在y個的broker上;

2,每個領導分割槽有z個副本,跟領導分布區在不同的broker上;(領導分割槽負責讀寫,隨從分割槽負責複製領導分割槽的資料)

3,每個領導分割槽有a條訊息,從0開始,依次增加;

概念從小到大:

生產者 -》訊息-》分割槽-》主題->broker (分割槽內部的offset)

消費者組-》消費者-》主題(消費者的offset)

記錄在日誌檔案裡,按照順序寫的方式,io效率比較高;

日誌檔案是分段的 log segment , 當當前段用完,會分配新的日誌段,然後有定時任務會定期**可以**的log segment ;

如何防止訊息被重複消費?

消費組:不同的消費者實體分配了不一樣的分割槽。 乙個分割槽對應了唯一的乙個消費者。所以不會出現訊息重複。

broker部署在不同的機器上;

備份機制,以分割槽為單位儲存副本,副本分為leader rep, follower rep ;  分布在不同的broker上;

leader rep : 跟客戶端互動,生產和消費訊息;

follower rep: 複製leader的 rep 資料;

分割槽: 乙個主題分為多個分割槽,分割槽分布在不同的broker上,方便進行擴充套件。

消費高效能:消費組的消費者分配得到不同的分割槽,並行消費,並且增加或者減少消費者會自動rebalance,即重新分配分割槽;

生產高效能:分割槽在不同的broker,可以併發的寫訊息;

商業智慧型軟體的基本體系結構

商業智慧型軟體可以收集 管理 分析和轉化企業中現有的資料,使這些資料成為可用的資訊。讓企業更輕鬆地獲取洞察力,幫助企業做出明智的經營決策。這些資料報括來自企業業務系統的訂單 庫存 交易賬目 客戶和 商,還有來自行業和競爭對手的其他資料,以及來自其他外部環境的各種資料。商業智慧型軟體輔助操作層的決策,...

UCHome全面大解析 二 基本體系結構

本期主要介紹uchome的體系結構開始,一步一步教大家理解uchome。uchome安裝後的主要目錄與檔案介紹 admin 管理後台 api api函式 外掛程式開發與模板等的修改不需要動此檔案 attachment 附件目錄 data 快取目錄,此目錄要有777許可權,系統相關快取基本上都在這裡了...

Oracle傳統基本體系結構初步介紹(6)

3 區間 extent 關於extent的翻譯有多種解釋,有的譯作擴充套件,有的譯作盤區,我這裡通常譯為區間。在乙個段中可以存在多個區間,區間是為資料一次性預留的乙個較大的儲存空間,直到那個區間被用滿,資料庫會繼續申請乙個新的預留儲存空間,即新的區間,一直到段的最大區間數 max extent 或沒...