Kafka 分布式訊息佇列的特點及應用場景

2021-07-27 21:33:36 字數 599 閱讀 6751

1) 速度快、高吞吐量、分布式、多分割槽。

2) 無需停機即可擴充套件機器。

3) 通過將資料持久化到硬碟以及replication防止資料丟失。

4) 支援多消費者(重要特點)。

5)支援online(實時消費)和offline(離線消費,比如按天消費)的場景。

6)依賴zookeeer集群,狀態資訊都寫在zookeeer集群裡

7) kafka消費都採用pull方式,即客戶端comsumer主動拉取資料,客戶端維護offset。客戶端可以根據需要隨時隨地進行消費,更加靈活,而且對服務端壓力小。

對於一些常規的訊息系統,kafka是個不錯的選擇;容錯、良好的擴充套件性及優勢效能,kafka的使用主要還是用來處理日誌。kafka尚未確保訊息的傳送與接收絕對可靠,比如訊息重發、訊息傳送丟失等,因此只能用做"常規"的訊息系統;到目前為止kafka並沒有提供jms中的"事務性"訊息確認機制等企業級特性;

分布式訊息佇列kafka

kafka是linkedin開源的分布式發布 訂閱訊息系統 訊息佇列 kafka特點 1 高吞吐率 低延遲,每秒處理幾十萬訊息,延遲最低幾毫秒 2 可擴充套件性,支援動態擴充套件節點資料 3 永續性與可靠性,資料被持久化磁碟,支援資料多副本防止資料丟失 4 高容錯,允許節點失敗 5 高併發,支援上千...

Kafka分布式訊息佇列

可快速持久化。通過o 1 的磁碟資料結構提供訊息的持久化,這種結構對於即使數以tb的訊息儲存也能夠保持長時間的穩定性能 高吞吐量。即使是非常普通的硬體kafka也可以支援每秒數百萬的訊息 完全的分布式系統。它的broker producer consumer都原生地支援分布式,自動支援負載均衡 pa...

Kafka分布式訊息佇列框架

既有的訊息佇列框架或者對訊息傳送的可靠性提供了較高的保證,由此帶來較大的負擔,不能滿足海量高吞吐率的要求 或者完全面向實時訊息處理系統,對於批量離線處理的場合無法提供足夠的快取和永續性要求。如何實現 kafka的集群有多個broker伺服器組成,每個型別的訊息被定義為topic,同一topic內部的...