kafka本地集群搭建完成,介紹在shell中進行簡單使用,並記錄。
cd /opt/zookeeper/bin/
./zkserver.sh start
cd /opt/kafka/
bin/kafka-server
-start
.sh config/server.properties &
& 表示後台執行,這樣就可以啟動後離開控制台。
bin/kafka-server
-start
.sh -daemon config/server.properties &
-daemon 守護執行緒,安裝成功後啟動可加這個引數,安裝過程中暫時不要加
bin/kafka-server-stop.sh config/server.properties &
cd /opt/kafka/bin/
./kafka-topics.sh -list -zookeeper 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181
cd
/opt/kafka/bin/
./kafka
-topics.sh
--create--
zookeeper
192.
168.1.
100:2181
,192
.168.1
.101:2181
,192
.168.1
.102:2181--
replication
-factor2-
-partitions3-
-topic
kafka
-action--
create
設定此次操作的action型別為建立--
zookeeper
設定zookeeper集群位址--
replication
-factor
設定topic的副本因子--
partitions
設定topic的分割槽個數--
topic
設定topic的名稱
cd /opt/kafka/bin/
./kafka-topics.sh -describe -zookeeper 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181
詳細資訊的屬性:
-topic 主題名稱
-partition 分割槽編號
-leader 當前分割槽負責讀寫的節點,只有主副本才會接受訊息的讀寫
-replicas 分割槽的複製節點列表,它與主題的副本數量有關,預設只有乙個副本,即主副本
-isr 同步狀態的副本,是replicas的子集,必須是存活的,並且都能趕上主副本
cd /opt/kafka/bin/
./kafka-console-producer.sh --broker-list 192.168.1.100:9092,192.168.1.101:9092,192.168.1.102:9092 --topic kafka-action
--broker-list 指定kafka的**位址列表(必傳)
--topic 訊息被傳送的目標主題(必傳)
--producer.config 用於載入乙個生產者級別相關配置的配置檔案,如product.properties
--producer-property 通過該命令引數可以直接在啟動生產者命令列中設定生產者級別的配置,在命令列中設定的引數將會覆蓋所載入配置檔案中的引數設定
--property 通過該命令可以設定訊息消費者相關的配置
舊版消費者:
./kafka-******
-consumer
-shell
.sh --broker-list
192.168
.1.100:9092,192.168
.1.101:9092,192.168
.1.102:9092
--topic kafka-action
新版消費者:
./kafka-console
-consumer
.sh -bootstrap
-server
192.168
.1.100:9092,192.168
.1.101:9092,192.168
.1.102:9092
--new
-consumer
--consumer-property
group
.id=
new-consumer
-test
--consumer-property client.id=
new-consumer
-cl--topic kafka-action
--new
-consumer 列出新消費者型別的所有消費組資訊
最後附上危險操作步驟:
kafka-topics.sh的delete命令刪除topic
kafka集群簡單使用
bin kafka topics.sh create bootstrap server hadoop102 9092 topic testbin kafka console producer.sh broker list hadoop102 9092在本節點建立乙個生產者 bin kafka con...
Kafka集群部署及簡單使用
1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 atguigu hadoop102 module mv kafka 2.11 0.11.0.0 kafka 3 在...
Kafka集群簡單介紹
2 上傳linux並解壓 tar zxvf kafka 2.11 1.0.0.tgz 3 修改server.properties檔案 1 配置kafka儲存位置,要配置為非 tmp目錄 log.dirs 非 tmp目錄 4 修改zookeeper.properties檔案 1 kafka內建了乙個z...