kafka啟動命令 Kafka入門

2021-10-11 13:47:31 字數 3894 閱讀 9938

kafka是乙個高效能分布式訊息系統，今天就簡單介紹下基礎入門吧。

> tar -xzf kafka_2.12-2.2.0.tgz > cd kafka_2.12-2.2.0
二、啟動伺服器kafka使用zookeeper，所以我們要先啟動zookeeper，可以使用安裝檔案裡面的啟動命令啟動乙個單節點的zookeeper。

> bin/zookeeper-server-start.sh config/zookeeper.properties


[2013-04-22 15:01:37,495] info reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.quorumpeerconfig)


...
然後就可以啟動kafka伺服器了

> bin/kafka-server-start.sh config/server.properties


[2013-04-22 15:01:47,028] info verifying properties (kafka.utils.verifiableproperties)


[2013-04-22 15:01:47,051] info property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.verifiableproperties)


...
三、建立乙個主題(topic)我們使用命令建立乙個名叫"test"的主題。

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
我們可以使用命令列查詢主題

> bin/kafka-topics.sh --list --bootstrap-server localhost:9092


test
四、傳送訊息我們接下來使用命令列裡的傳送命令來往"test"主題裡面傳送訊息。

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test


this is a message


this is another message
五、接收訊息同樣我們使用命令列來接收"test"主題裡的訊息。

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning


this is a message


this is another message
可以看到，我們接收到了剛才我們發出的訊息。

六、多節點kafka

上面我們只建立了乙個kafka例項，我們將它擴充套件成3個節點。

首先我們複製兩份原有節點的配置檔案：

> cp config/server.properties config/server-1.properties


> cp config/server.properties config/server-2.properties



config/server-1.properties:


broker.id=1


listeners=plaintext://:9093


log.dirs=/tmp/kafka-logs-1


config/server-2.properties:


broker.id=2


listeners=plaintext://:9094


log.dirs=/tmp/kafka-logs-2
注意，broker.id必須是唯一的，並且我們把埠和日誌檔案路徑都修改了以便我們在單機上啟動多節點。

然後我們試著啟動這兩個節點：

> bin/kafka-server-start.sh config/server-1.properties &


> bin/kafka-server-start.sh config/server-2.properties &
接著我們建立乙個三個副本的主題：

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
我們可以通過命令查詢這個主題的資訊：

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic


topic:my-replicated-topic   partitioncount:1    replicationfactor:3 configs:


topic: my-replicated-topic  partition: 0    leader: 1   replicas: 1,2,0 isr: 1,2,0
接著我們往這個topic傳送訊息：

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic


my test message 1


my test message 2
我們來執行消費者來消費這些訊息：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic


my test message 1


my test message 2
接下來我們來看看高可用，上面我們看到leader節點是1，所以我們停止掉1，再執行檢視命令

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic


topic:my-replicated-topic   partitioncount:1    replicationfactor:3 configs:


topic: my-replicated-topic  partition: 0    leader: 2   replicas: 1,2,0 isr: 2,0
我們繼續執行消費者：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topicmy test message 1 my test message 2

kafka啟動命令

啟動 bin kafka server start.sh daemon config server.properties 建立主題 kafka topics.sh zookeeper s202 2181 topic calllog create replication factor 3 partit...

Kafka補充及啟動kafka

補充 kafka中可以有多個broker,我們理解時可以把broker當做乙個新華書店理解 broker中可以有多個topic，topic是邏輯分割槽及邏輯存在的主題，不儲存資料 topic中可以有多個partition 分割槽 partition是真正存放資料的地方，乙個partition是乙個強...

kafka簡單的啟動命令

我這裡的安裝目錄是 home bigdata kafka 節點名稱為 localhadoop1 進入安裝目錄後輸入 bin kafka server start.sh config server.properties 後台執行 bin kafka server start.sh config ser...