kafka 應用場景
1、日誌收集：乙個公司可以用kafka可以收集各種服務的log，通過kafka以統一介面服務的方式開放給各種consumer，例如hadoop、hbase、solr等。
2、訊息系統：解耦和生產者和消費者、快取訊息等。
4.運營指標：kafka也經常用來記錄運營監控資料。包括收集各種分布式應用的資料，生產各種操作的集中反饋，比如報警和報告。
5、流式處理：比如spark streaming和storm
6、事件源
kafka的特性
1、高吞吐量、低延遲：kafka每秒可以處理幾十萬條訊息，延遲毫秒級
2、可擴充套件性：kafka集群支援熱擴充套件
3、永續性、可靠性：訊息被持久化到本地磁碟，且支援資料備份防止資料丟失
4、容錯性：允許集群中節點失敗
5、高併發：支援多個客戶端同時讀寫
kafka架構元件
kafka中發布訂閱的物件是topic。我們可以為每類資料建立乙個topic，把向topic發布訊息的客戶端稱作producer，從topic訂閱訊息的客戶端稱作consumer。producers和consumers可以同時從多個topic讀寫資料。乙個kafka集群由乙個或多個broker伺服器組成，它負責持久化和備份具體的kafka訊息。
topic：訊息存放的目錄即主題
producer：生產訊息到topic的一方
consumer：訂閱topic消費訊息的一方
broker：kafka的服務例項就是乙個broker
Kafka的應用場景
1 建立實時的資料管道，以可靠地在系統或應用程式之間獲取資料 2 構建實時流應用程式，以轉換或響應資料流 如圖，可以看到 1 producers 可以有很多的應用程式，將訊息資料放到kafka的集群中。2 consumers 可以有很多的應用程式，將訊息資料從kafka集群中拉取出來。3 conne...
Kafka 特性 使用場景 技術優勢
1 高吞吐量 低延遲 kafka每秒可以處理幾十萬條訊息，它的延遲最低只有幾毫秒，每個主題可以分多個分割槽,消費組對分割槽進行消費操作 2 可擴充套件性 kafka集群支援熱擴充套件 3 永續性 可靠性 訊息被持久化到本地磁碟，並且支援資料備份防止資料丟失 4 容錯性 允許集群中節點失敗 若副本數量...
Kafka理論概述和應用場景
kafka是一種高吞吐量的分布式發布訂閱訊息系統，它可以處理消費者規模的 中的所有動作流資料。簡單地說，kafka就相比是乙個郵箱，生產者是傳送郵件的人，消費者是接收郵件的人，kafka就是用來存東西的，只不過它提供了一些處理郵件的機制。下面做進一步說明 broker即kafka程式，kafka程式...