Kafka Eagle 原始碼解讀

在《kafka 訊息監控 - kafka eagle》一文中，簡單的介紹了 kafka eagle這款監控工具的作用，截圖預覽，以及使用詳情。今天筆者通過其原始碼來解讀實現細節。目前該專案已託管於 github 之上，作者編寫了使用手冊，告知使用者如何安裝，部署，啟動該系統。但對於實現的細節並未在參考手冊中詳細指出。這裡，筆者通過本篇博文，來詳細解讀其實現細節。相關資料文獻位址如下所示：

截止到版本 kafka eagle v1.1.1 支援監控0.8.2.x（存放消費資訊於zookeeper）以及 0.10.x（存放消費資訊於kafka的topic中）。對於前者，從zookeeper中獲取訊息資訊，難度不大，編寫zookeeper客戶端實現**即可，該版本在zookeeper下的儲存結構樹如下圖所示：

對於實現細節，可使用zkutils工具類來獲取相關資料，以獲取消費資訊為例，**如下所示：

/**
obtaining kafka consumer information from zookeeper. 
*/public map>getconsumers(string clusteralias)  
else}} 
catch
(exception ex)  
finally
}return
consumers;
}

其他監控資訊可以按照zookeeper中結構樹路徑獲取。如下圖所示：

然而，對於新版本，官方預設將消費資訊遷移到kafka的topic中，這樣原來的介面只能獲取topic，broker等資訊，對於消費的資訊，我們需要從kafka中乙個叫__consumer_offsets的topic中獲取。為了相容0.8.2.x版本的kafka，這裡在kafka eagle中另外啟動乙個rpcserver來貢獻__consumer_offsets中的消費資訊。消費__consumer_offsets這個topic時，需要指定該內部topic不暴露給consumer，將 exclude.internal.topics 設定為 false 即可。這樣我們通過乙個 kafka.eagle.offset.storage 開關來控制系統獲取監控元資料的走向。獲取流程如下圖所示：

當消費的資訊存放於zookeeper中，我們可以直接從consumer模組下直接獲取對應的owner，但是在kafka的topic中，我們需要編碼來間接的獲取。這裡，我們需要知道 kafka 的owner的組成規則，其規則由 group+conusmerhostaddress+timespan+uuid+partitionid組成，實現細節可參考原始碼，介面展示如下圖所示：

關於kafka sql，旨在使用sql來快速視覺化topic的相關資訊，目前 kafka sql 實現的功能包含有展示某乙個topic的partition，offset，以及其對應的訊息記錄，若不加limit條件限制，預設展示該topic下最新的5000條記錄，詳細實現細節，可參看原始碼，預覽截圖如下所示：

查詢結果，如下圖所示：

kafka eagle 目前是支援多集群監控，所謂多集群，是指多個zookeeper集群下的kafka集群，通過切換session來管理不同的zookeeper集群下的kafka集群，細節參看原始碼。管理介面如下圖所示：

kafka eagle總體實現思路基本如上所述。針對，kafka 0.10.x版本，kafka eagle監控部分模組不展示的問題，這裡在啟動 kafka eagle之前，預設啟動乙個系統consumer來消費kafka.eagle該group下的__system.topic__，保證__consumer_offsets是有資料可供獲取的。

這篇部落格就和大家分享到這裡，如果大家在研究學習的過程當中有什麼問題，可以**進行討論或傳送郵件給我，我會盡我所能為您解答，與君共勉！

****：

twitter：

qq群（hadoop - 交流社群1）：

424769183

Kafka Eagle 原始碼解讀

在 kafka 訊息監控 kafka eagle 一文中，簡單的介紹了 kafka eagle這款監控工具的作用，截圖預覽，以及使用詳情。今天筆者通過其原始碼來解讀實現細節。目前該專案已託管於 github 之上，作者編寫了使用手冊，告知使用者如何安裝，部署，啟動該系統。但對於實現的細節並未在參考手...

Kafka Eagle 原始碼解讀

Kafka Eagle 原始碼解讀

Kafka Eagle 原始碼解讀

Kafka Eagle 原始碼解讀

相關推薦