kafka manager部署安裝

2021-09-21 06:43:47 字數 1590 閱讀 5676

為了簡化開發者和服務工程師維護kafka集群的工作,yahoo構建了乙個叫做kafka管理器的基於web工具,叫做 kafka manager。這個管理工具可以很容易地發現分布在集群中的哪些topic分布不均勻,或者是分割槽在整個集群分布不均勻的的情況。它支援管理多個集群、選擇副本、副本重新分配以及建立topic。同時,這個管理工具也是乙個非常好的可以快速瀏覽這個集群的工具,有如下功能:

1.管理多個kafka集群

2.便捷的檢查kafka集群狀態(topics,brokers,備份分布情況,分割槽分布情況)

3.選擇你要執行的副本

4.基於當前分割槽狀況進行

5.可以選擇topic配置並建立topic(0.8.1.1和0.8.2的配置不同)

6.刪除topic(只支援0.8.2以上的版本並且要在broker配置中設定delete.topic.enable=true)

7.topic list會指明哪些topic被刪除(在0.8.2以上版本適用)

8.為已存在的topic增加分割槽

9.為已存在的topic更新配置

10.在多個topic上批量重分割槽

11.在多個topic上批量重分割槽(可選partition broker位置)

1.安裝jdk8

jdk-1.8.0_60

2,kafka集群

伺服器:

10.0.0.50:12181

10.0.0.60:12181

10.0.0.70:12181

軟體:kafka_2.8.0-0.8.1.1

zookeeper-3.3.6

3.系統

linux kafka50 2.6.32-642.el6.x86_64 #1 smp tue may 10 17:27:01 utc 2016 x86_64 x86_64 x86_64 gnu/linux

/releases

unzip kafka-manager-1.3.3.7.zip -d /data/ cd /data/kafka-manager-1.3.3.7

cd /data/kafka-manager-1.3.3.7

[root@kafka50 conf]# pwd /data/kafka-manager-1.3.3.7/conf

consumer.properties logback.xml logger.xml nohup.out routes

#kafka-manager.zkhosts="localhost:2181"

##注釋這一行,下面新增一行kafka-manager.zkhosts="10.0.0.50:12181,10.0.0.60:12181,10.0.0.70:12181"

bin/kafka-manager kafka-manager 預設的埠是9000,可通過 -dhttp.port,指定埠;

Kafka Manager的安裝與部署

一 硬體環境 假設kafka安裝在4台機,ip及主機名如下 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假設把kafka manager安裝在c1機。新版的kafka manager改名為cm...

Kafka Manager安裝筆記

2 解壓到指定的安裝目錄 unzip kafka manager 1.0 snapshot.zip kafka manager.zkhosts 設定為自己zk集群的位址,如 host1 2181,host2 2181,host3 2181 在這行下面還有kafka manager.zkhosts 不...

kafka Manager 分割槽操作流程

kafka manager 分割槽操作 前提 我的kafka在三颱伺服器上做了集群部署。我發現很多topic建立後只在一台伺服器上,且只有乙個分割槽。將topic由原來的乙個分割槽擴充套件為 3 個。原topic 可以看到 partitions 分割槽為1,broker 在一台伺服器上。點選 top...