kafka相關命令整理

2021-07-28 23:29:30 字數 1757 閱讀 4282

(1)啟動kafka-zookeeper服務命令

nohup bin/zookeeper-server-start.sh config/zookeeper.properties >/dev/null 2>&1  &
(2)啟動kafka-broker服務命令

nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
(3)建立乙個主題topic命令

bin/kafka-topics.sh --create --topic news_doc --replication-factor 2 --partitions 5 --zookeeper localhost:2181
(4)檢視所有的topic列表命令

bin/kafka-topics.sh --list --zookeeper localhost:2181
(5)刪除乙個主題topic命令

bin/kafka-topics.sh --delete--zookeeper localhost:2181 --topic news_doc 

bin/kafka-run-class.sh kafka.admin.deletetopiccommand--zookeeper localhost:2181 --topic news_doc

(6)檢視topic內的資料(開啟乙個消費者)

bin/kafka-console-consumer.sh --bootstrap-server 10.1.101.2:9092 --topic news_doc --group test_group_name --from-beginning
(7)檢視已建立主題topic的資訊

bin/kafka-topics.sh  --describe --zookeeper 10.136.64.57:2181 --topic news_doc
(8)檢視group列表

bin/kafka-consumer-groups.sh --bootstrap-server 10.1.101.2:9092 --list
(9)檢視topic下group的消費情況

bin/kafka-consumer-groups.sh --bootstrap-server 10.1.101.2:9092 --topic news_doc --describe
(10)手動設定offset

停止consumer後,設定group=tang,topic=test的offset為1524510

bin/kafka-consumer-groups.sh --bootstrap-server 10.1.101.2:9092  --group tang --topic  test --execute --reset-offsets --to-offset 1524510
(11)kafka集群擴充套件以及重新分布分割槽

向已經部署好的kafka集群裡面新增機器是最正常不過的需求,但是新新增的kafka節點並不會自動地分配資料,所以無法分擔集群的負載,除非我們新建乙個topic。但是現在我們想手動將部分分割槽移到新新增的kafka節點上,kafka內部提供了自帶的kafka-reassign-partitions.sh工具來重新分布某個topic的分割槽。

Kafka 命令整理

建立主題 4個分割槽,2個副本 bin kafka topics.sh create zookeeper localhost 2181 replication factor 2 partitions 4 topic test 查詢集群描述 bin kafka topics.sh describe z...

kafka相關命令

1.群起指令碼 bin bash case 1 in start stop esac 2.檢視主題 bin kafka topics.sh list zookeeper k8smaster 2181 3.建立主題 kafka topics.sh create zookeeper k8smaster ...

kafka相關操作命令

1 開啟zookeeper集群 startzk.sh 2 開啟kafka集群 start kafka.sh 3 開啟kafka視覺化介面 kafka manager start kafka manager.sh 4 生產者操作 kafka console producer.sh broker lis...