在開發工作當中，消費 kafka 集群中的訊息時，資料的變動是我們所關心的，當業務並不複雜的前提下，我們可以使用 kafka 提供的命令工具，配合 zookeeper 客戶端工具，可以很方便的完成我們的工作。隨著業務的複雜化，group 和 topic 的增加，此時我們使用 kafka 提供的命令工具，已預感到力不從心，這時候 kafka 的監控系統此刻便尤為顯得重要，我們需要觀察消費應用的詳情。 監控系統業界有很多傑出的開源監控系統。我們在早期，有使用 kafkamonitor 和 kafka manager 等，不過隨著業務的快速發展，以及網際網路公司特有的一些需求，現有的開源的監控系統在效能、擴充套件性、和 devs 的使用效率方面，已經無法滿足了。 因此，我們在過去的時間裡，從網際網路公司的一些需求出發，從各位 devs 的使用經驗和反饋出發，結合業界的一些開源的 kafka 訊息監控，用監控的一些思考出發，設計開發了現在 kafka 集群訊息監控系統：kafka eagle。
［kafka eagle github］
kafka eagle 涉及以下內容模組：
我們通過在瀏覽器中輸入 http://host:port/ke，訪問 kafka eagle 的 dashboard 頁面。該頁面包含以下內容：
展示 kafka 集群的 topic 數量，消費者數量，kafka 的 brokers 數，以及所屬的 zookeeper 集群資訊。dashboard 資訊展示截圖如下：
在 topic 模組下，包含建立 topic 和展示 topic 資訊詳情。
通過建立模組可以建立乙個自定義分割槽和備份數的 topic。如下圖所示：
該模組下列出 kafka 集群中所有的 topic，包含 topic 的分割槽數，建立時間以及修改時間，如下圖所示：
上圖中，每乙個 topic 名稱對應乙個詳情的超連結，通過該鏈結可以檢視該 topic 的詳情，如：分割槽索引號，leader，replicas 和 isr，如下圖所示所示：
該模組顯示有消費記錄的 topic 資訊，其中包含如下內容：
該模組顯示 kafka 集群資訊和 zookeeper 集群資訊，包含如下內容：
kafka eagel 監控的訊息資料來源，來自於 zookeeper。由於建立，修改或是消費 kafka 的訊息，都會在 zookeeper 中進行註冊，我們可以從中獲取資料的變動，例如：topic，brokers，partitions 以及 group 等，kafka 在 zookeeper 的結構儲存，如下圖所示：
這篇部落格就和大家分享到這裡，如果大家在研究學習的過程當中有什麼問題，可以**進行討論或傳送郵件給我，我會盡我所能為您解答，與君共勉！
Kafka 訊息監控 Kafka Eagle
在開發工作當中，消費 kafka 集群中的訊息時，資料的變動是我們所關心的，當業務並不複雜的前提下，我們可以使用 kafka 提供的命令工具，配合 zookeeper 客戶端工具，可以很方便的完成我們的工作。隨著業務的複雜化，group 和 topic 的增加，此時我們使用 kafka 提供的命令工...
Kafka 監控調研
1.如何監控kafka？kafka的資料統計是通過metrics的工具進行收集的，kafka大量使用了metrics做各種效能統計。kafka沒有自己的web管理介面 2.kafka的監控工具？1 jmx視覺化工具 metrics以jmx的形式提供了對外檢視資料的介面，所以我們可以在kafka啟動的...
kafka實時監控
在kafka的開發和維護中，我們經常需要了解kafka topic以及連線在其上的consumer的實時資訊，比如logsize，offset，owner等。為此kafka提供了consumeroffsetchecker，它的用法很簡單 bin kafka run class.sh kafka.to...