kafka操作清單

1. 檢視topic個數

./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181

2. 檢視topic的生產者與消費者訊息

./kafka-topics.sh --describe --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 --topic test

leader:負責處理訊息的讀和寫，leader是從所有節點中隨機選擇的.

replicas:列出了所有的副本節點，不管節點是否在服務中.

lsr:是正在服務中的節點.

3. 生產者

bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test

bin/kafka-console-producer.sh --broker-list 192.168.100.125:9092 --topic dreamtopic1

4.消費者

# 舊版本方式

bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper kafka1:2181 --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic dreamtopic1 --from-beginning
#新版本
bin/kafka-console-consumer.sh --bootstrap-server 10.15.201.83:9092 --topic test1 --from-beginning

5. 刪除topic

方法一： 通過kafka命令列刪除

bin/kafka-topics.sh --delete --zookeeper master:2181 --topic dreamtopic

如果刪除後檢視topic顯示為:marked for deletion  則需要在每一台機器中的 config/server.properties 檔案加入  delete.topic.enable=true，然後重啟kafka

方法二： 刪除zookeeper中的記錄

刪除kafka儲存目錄（server.properties檔案log.dirs配置，預設為"/tmp/kafka-logs"）相關topic目錄

刪除zookeeper "/brokers/topics/"目錄下相關topic節點 

# 連線zookeeper

zkcli.sh -server localhost:2181
rmr /brokers/topics/topicname

6. 建立topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

新版本：

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

7.  將日誌資訊傳送到kafka

$ tail -n 0 -f  /var/log/nginx/access.log | bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --sync --topic zerg.hydra

8. 啟動kafka指令碼

#!/bin/sh

./bin/kafka-server-start.sh -daemon config/server.properties

檢視kafka的topic清單以及topic的內容

對於雲端伺服器上執行著的kafka集群，由於沒有開放相關的埠，之前檢視都是使用埠 ssh練上去之後，使用埠 到本地檢視。使用kafka時發現，zk連線上之後，裡面的brokers其實是雲端伺服器的內網，但是kafka tools會直接認為那些ip是本地ip，就會看不到kafka裡面的內容。試來試去，...

git遠端操作命令清單

轉殖遠端專案到本地，並且可以重新命名本地目錄 git clone 版本庫的 本地目錄名 git clone jquery.git jquery 命令列出所有遠端主機 git remote 使用 v選項，可以參看遠端主機的 git remote v 可以檢視該主機的詳細資訊 git remote sh...

kafka操作命令

啟動 bin kafka server start.sh daemon config server 0.properties bin kafka server start.sh daemon config server 1.properties 如果有多個server broker bin kafk...