為了簡化開發者和服務工程師維護kafka集群的工作,yahoo構建了乙個叫做kafka管理器的基於web工具,叫做 kafka manager。這個管理工具可以很容易地發現分布在集群中的哪些topic分布不均勻,或者是分割槽在整個集群分布不均勻的的情況。它支援管理多個集群、選擇副本、副本重新分配以及建立topic。同時,這個管理工具也是乙個非常好的可以快速瀏覽這個集群的工具,有如下功能:
1.管理多個kafka集群2.便捷的檢查kafka集群狀態(topics,brokers,備份分布情況,分割槽分布情況)
3.選擇你要執行的副本
4.基於當前分割槽狀況進行
5.可以選擇topic配置並建立topic(0.8.1.1和0.8.2的配置不同)
6.刪除topic(只支援0.8.2以上的版本並且要在broker配置中設定delete.topic.enable=true)
7.topic list會指明哪些topic被刪除(在0.8.2以上版本適用)
8.為已存在的topic增加分割槽
9.為已存在的topic更新配置
10.在多個topic上批量重分割槽
11.在多個topic上批量重分割槽(可選partition broker位置)
1.安裝jdk8jdk-1.8.0_60
2,kafka集群
伺服器:
10.0.0.50:12181
10.0.0.60:12181
10.0.0.70:12181
軟體:kafka_2.8.0-0.8.1.1
zookeeper-3.3.6
3.系統
linux kafka50 2.6.32-642.el6.x86_64 #1 smp tue may 10 17:27:01 utc 2016 x86_64 x86_64 x86_64 gnu/linux
/releasesunzip kafka-manager-1.3.3.7.zip -d /data/ cd /data/kafka-manager-1.3.3.7
cd /data/kafka-manager-1.3.3.7
[root@kafka50 conf]# pwd /data/kafka-manager-1.3.3.7/conf
consumer.properties logback.xml logger.xml nohup.out routes
#kafka-manager.zkhosts="localhost:2181"
##注釋這一行,下面新增一行kafka-manager.zkhosts="10.0.0.50:12181,10.0.0.60:12181,10.0.0.70:12181"
bin/kafka-manager kafka-manager 預設的埠是9000,可通過 -dhttp.port,指定埠;
Kafka Manager的安裝與部署
一 硬體環境 假設kafka安裝在4台機,ip及主機名如下 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假設把kafka manager安裝在c1機。新版的kafka manager改名為cm...
Kafka Manager安裝筆記
2 解壓到指定的安裝目錄 unzip kafka manager 1.0 snapshot.zip kafka manager.zkhosts 設定為自己zk集群的位址,如 host1 2181,host2 2181,host3 2181 在這行下面還有kafka manager.zkhosts 不...
kafka Manager 分割槽操作流程
kafka manager 分割槽操作 前提 我的kafka在三颱伺服器上做了集群部署。我發現很多topic建立後只在一台伺服器上,且只有乙個分割槽。將topic由原來的乙個分割槽擴充套件為 3 個。原topic 可以看到 partitions 分割槽為1,broker 在一台伺服器上。點選 top...