最近手上的專案需要拉去kafka的訊息進行消費,不過以前沒使用過kafka,這兩天安裝及摸索使用了kafka,對於在乙個服務裡開啟多個kafka的消費者來提高消費速度的問題上,目前自己已摸索清楚並測試通過,故記錄下。
一. 專案場景
在分布式的情景下,有多個應用服務將訊息推送到kafka的topic裡,需要開發乙個應用服務去拉去kafka的訊息並進行消費,由於訊息的生產速度很快,如果只開乙個消費者去進行消費的話,會導致大量訊息堆積於kafka,所以需要進行提公升消費者的速度。
二. 提公升消費者速度的手段
第二點和第三點已經做了優化了,所以還想從第一點進行優化,以下就對第一點的優化做乙個詳細描述。
三. kafka的基本知識
乙個topic可以配置多個partition,produce傳送的訊息分發到不同的partition中,consumer接受資料的時候是按照group來接受,kafka確保每個partition只能同乙個group中的乙個consumer消費,如果想要重複消費,那麼需要其他的組來消費。
四. 走過的那些彎路(也是為了測試)
五. 自己寫的專案
報警監控:
狀態監控:
Kafka使用心得 4 Kafka詳細分析
前面說過kafka主要包括 客戶端,broker,zk,消費者四塊內容。1.客戶端 客戶端的作用為收集訊息,將訊息正確的傳送到客戶端。1.1 訊息 客戶端的訊息包括 crc,版本號,key,length,屬性,value 1.2 客戶端和zk 客戶端啟動之前需要指定zk位址,客戶端需要zk來獲取br...
frameset 使用心得
欲明白本篇 html徹底剖析 之標記分類,請看 標記一覽 也請先明白圍堵標記與空標記的分別,請看 html概念 框架概念 謂框架便是網頁畫面分成幾個框窗,同時取得多個 url。只需要 即可,面所有框架標記需要放在乙個總起的 html 檔,這個檔案只記錄了該框架如何分割 不會顯示任何資料,所以不必放入...
Access使用心得
今天臨時用access做資料庫,長期用sql server開發習慣了,總結一下現在為止用到的比較大的差異,以後有新的再補了 1 返回字串長度 len s lenb s 前者返回字元數,後者返回位元組數,並且access中text型別字元統一為2位元組,與sql2000不同。2 join的使用 acc...