kafka使用總結

2021-09-01 11:14:08 字數 1623 閱讀 2470

列出所有topics:

bin/kafka-topics.sh --list --zookeeper 10.19.167.11:2181,10.19.167.12:2181,10.19.167.14:2181

bin/kafka-topics.sh --list --zookeeper 10.19.167.21:2181,10.19.167.22:2181,10.19.167.23:2181

檢視某個topic:

bin/kafka-topics.sh --describe --zookeeper 10.19.167.11:2181,10.19.167.12:2181,10.19.167.14:2181 --topic domob_no_match_landing_event_stream

建立乙個topic:

bin/kafka-topics.sh --create --topic test0 --zookeeper 10.19.167.11:2181,10.19.167.12:2181,10.19.167.14:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1

bin/kafka-topics.sh --create --topic one_degree_data_20181119 --zookeeper 10.19.167.21:2181,10.19.167.22:2181,10.19.167.23:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 10 --replication-factor 1

刪除某個topic:

bin/kafka-topics.sh --delete --topic test0 --zookeeper 10.19.167.11:2181,10.19.167.12:2181,10.19.167.14:2181

配置server.properties檔案,給定引數delete.topic.enable=true,重啟kafka服務,此時執行delete命令表示允許進行topic的刪除

修改某個topic: kafka分割槽數量只允許增加,不允許減少

bin/kafka-topics.sh --zookeeper 10.19.167.11:2181,10.19.167.12:2181,10.19.167.14:2181 --alter --topic test0 --partitions 10

bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --config max.message.bytes=128000

bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --delete-config max.message.bytes

啟動kafka服務:

nohup ./bin/kafka-server-start.sh ./config/server.properties &

停止kafka服務:

bin/kafka-server-stop.sh

kafka使用總結

系統新增資料需要通過kafka平台進行推送,第三方消費訊息 1.伺服器端需要安裝jdk,kafka 2.6.0 使用kafka自帶zookeeper jdk配置對應的環境變數,kafka使用預設配置 2.啟動順序為 zookeeper啟動之後 啟動kafka 關閉順序為 kafka關閉之後 關閉zo...

Ubuntu下kafka使用總結

安裝執行環境 apt get install openjdk 8 jre pip3 install kafka 啟動kafka bin zookeeper server start.sh config zookeeper.properties bin kafka server start.sh co...

kafka知識總結

1 kafka是什麼 類jms訊息佇列,結合jms中的兩種模式,可以有多個消費者主動拉取資料,在jms中只有點對點模式才有消費者主動拉取資料。kafka是乙個生產 消費模型。producer 生產者,只負責資料生產,生產者的 可以整合到任務系統中。資料的分發策略由producer決定,預設是defa...