kafka入門系列二

在入門

系列一，我進行了單節點的安裝，本文我將安裝多節點的集群。在kafka中，乙個broker就是集群中的乙個節點，而我們在乙個kafka中可以啟動多個broker，所以一台機器，裝乙個kafka，通過啟動多個broker的形式，就可以建乙個集群。

下面我一步步演示：

1. 配置多個broker，這個主要就是配置多個broker的配置檔案。

進入kafka的安裝目錄的config目錄下，我新增了server-1.properties，server-2.properties這2個配置檔案。

2.修改配置檔案，原來的server.properties這個檔案我們可以不去改它，保持預設的設定。

新增的server-1.properties和server-2.properties檔案主要改3個地方。

config/server-1.properties:

broker.id=1

port=9093

log.dir=/tmp/kafka-logs-1

config/server-2.properties:

broker.id=2

port=9094

log.dir=/tmp/kafka-logs-2

broker.id在整個集群中是唯一的，並且是固定不變的。port和log.dir也設成不一樣，是因為我們是在同一臺機器上搭建的集群，如果在多台機器上，這個可以一樣。

6.給我們的主題傳送訊息：

>bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic...my test message 1

my test message 2

7.消費訊息

>bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic...

my test message 1

my test message 2^c

8.測試有broker掛掉的情況

因為我們建的複製因子是3，所以訊息存有3份。只要還有乙個broker，訊息就不會丟掉。

具體測試操作是找出broker的程序號，kill掉其中的1個或者2個broker，再去消費訊息，訊息能準確獲取到，不會丟失。