Kafka 基本介紹

2021-10-16 16:52:46 字數 588 閱讀 1457

源自小夥伴的分享,我本身也不會使用這個東西,但是通過她的介紹,對kafka有乙個簡單的了解,基於此做乙個整理。

1. 什麼是kafka?

kafka是乙個分布式、分割槽的、多副本的、多訂閱者,基於zookeeper協調的分布式日誌系統(也可以當做mq系統),常見可以用於web/nginx日誌、訪問日誌,訊息服務等等。主要應用場景是:日誌收集系統和訊息系統。

訊息佇列(mq),是一種應用程式對應用程式的通訊方法。應用程式通過寫和檢索出入列隊的方式針對應用程式的資料(訊息)來通訊,而無需專用連線來鏈結它們。佇列的使用除去了接收和傳送應用程式同時執行的要求。

2. 訊息系統介紹

訊息系統負責將資料從乙個應用傳遞到另外乙個應用,應用只需關注於資料,無需關注資料在兩個或多個應用間是如何傳遞的。分布式訊息傳遞基於可靠的訊息佇列,在客戶端應用和訊息系統之間非同步傳遞訊息。有兩種主要的訊息傳遞模式:點對點傳遞模式、發布-訂閱模式。大部分的訊息系統選用發布-訂閱模式。kafka就是一種發布-訂閱模式

發現乙個寫的很詳細的作者,今天先把鏈結貼在這裡, 後期自己理解理解再把內容敲一遍,過個手。

參考文章:

kafka的基本介紹

企業中離線業務場景實時業務場景都需要使用到kafka kafka具備資料的計算能力和儲存能力,但是兩個能力相對 mr spark,hdfs 較弱.kafka角色的角色與hbase比較像,層級關係比較多。訊息 應用之間傳送的資料,或點與點之間,點與多點之間傳遞的資料,傳遞的資訊。訊息佇列 是一種應用間...

Kafka基本概念介紹

kafka官方介紹 kafka是乙個分布式的流處理平台 0.10.x版本 在kafka0.8.x版本的時候,kafka主要是作為乙個分布式的 可分割槽的 具有副本數的日誌服務系統 kafka is adistributed,partitioned,replicatedcommit log servi...

kafka入門介紹

背景 當今社會各種應用系統諸如商業 社交 搜尋 瀏覽等像資訊工廠一樣不斷的生產出各種資訊,在大資料時代,我們面臨如下幾個挑戰 如何收集這些巨大的資訊 如何分析它 如何及時做到如上兩點 以上幾個挑戰形成了乙個業務需求模型,即生產者生產 produce 各種資訊,消費者消費 consume 處理分析 這...