Kafka 入門命令

2021-08-28 01:18:54 字數 2891 閱讀 5931

消費者組

消費者和生產者

檢視幫助

kafka

-topics--

zookeeper

localhost:2181--

create--

topic

money--

replication

-factor3-

-partitions8-

-if-not

-exists//-

-partitions

分割槽數//--

zookeeper

zk位址,多個使用逗號分隔//-

-replication

-factor

複製係數

kafka

-topics--

zookeeper

localhost:2181--

alter--

topic

money--

partitions

16

只可以增加,不可以減少,因為減少會導致資料不一致

kafka

-topics--

zookeeper

localhost:2181--

delete--

topic

money

kafka

-topics--

zookeeper

localhost:2181--

list

kafka

-topics--

zookeeper

localhost:2181--

descirbe

舊消費者

kafka-consumer

-groups

--zookeeper localhost:2181

--list

新消費者客戶端,因為在0.10.2之後偏移量儲存在kafka上

kafka-consumer

-groups

--bootstrap-server kafka1:9092,kafka2:9093,kafka3:9094

--list

kafka

-consumer

-groups--

zookeeper

localhost:2181--

descibe--

group

test

kafka-consumer

-groups

--bootstrap-server kafka1:9092,kafka2:9093,kafka3:9094

--describe --

group test1

字段

解釋group

群組名稱

topic

主題名稱

partition

分割槽id

current-offset

分割槽當前偏移量

log-end-offset

分割槽高水位

lag消費者和高水位的差距,就是還有幾條訊息沒有消費

client-id

消費者id

kafka

-consumer

-groups--

zookeeper

localhost:2181--

delete--

group

test1

kafka-consumer

-groups

--bootstrap-server kafka1:9092,kafka2:9093,kafka3:9094

--delete --

group test1

kafka

-configs--

zookeeper

zk:2181--

entity

-type

topics/clients--

entity

-name

***-

-add

-config[,]

kafka

-console

-consumer.sh

--zookeeper

locahost:2181--

topic

test

kafka-console

-consumer

--bootstrap-server kafka1:9092,kafka2:9093,kafka3:9094

--topic money --from-beginning

kafka-console-producer

--broker-list

kafka1

:9092,kafka2

:9093,kafka3

:9094

--topic

money

對應命令 help

如:

kafka-console

-producer help

kafka啟動命令 Kafka入門

kafka是乙個高效能分布式訊息系統,今天就簡單介紹下基礎入門吧。tar xzf kafka 2.12 2.2.0.tgz cd kafka 2.12 2.2.0二 啟動伺服器kafka使用zookeeper,所以我們要先啟動zookeeper,可以使用安裝檔案裡面的啟動命令啟動乙個單節點的zook...

kafka入門基礎命令

kafka啟動命令 bin kafka server start.sh 啟動命令 daemon 後台啟動引數 config server.properties 配置檔案 kafka語法 檢視主題個數 命令 bin kafka topics.sh list zookeeper hadoop01 218...

kafka入門簡介

1 概述 kafka是linkedin於2010年12月份開源的訊息系統,它主要用於處理活躍的流式資料。活躍的流式資料在web 應用中非常常見,這些資料報括 的pv 使用者訪問了什麼內容,搜尋了什麼內容等。這些資料通常以日誌的形式記錄下來,然後每隔一段時間進行一次統計處理。2 設計目標 1 資料在磁...