kafka集群部署

前提：

kafka集群依賴於zk集群，沒有zk集群環境的請先參考  .

假設搭建3個節點的kafka集群，下面是步驟：

，如果只是安裝，直接down kafka_2.12-0.11.0.0.tgz 即可。

二、解壓

假設$kafka_home為解壓後的根目錄,將tag包解壓到該目錄下（3臺機器上都解壓)

三、修改$kafka_home/config/service.properties

1 broker.id=1 #類似zk的myid一樣，每個節點上的id都要唯一

2 host.name=192.168.29.60 #每個節點對應的機器ip
3 num.network.threads=3
4 num.io.threads=8
5 socket.send.buffer.bytes=102400
6 socket.receive.buffer.bytes=102400
7 socket.request.max.bytes=104857600
9 num.partitions=1
10 num.recovery.threads.per.data.dir=1
11 offsets.topic.replication.factor=1
12 transaction.state.log.replication.factor=1
13 transaction.state.log.min.isr=1
14 log.retention.hours=168
15 message.max.byte=5242880
16 default.replication.factor=2
17 replica.fetch.max.bytes=5242880
18 log.segment.bytes=1073741824
19 log.retention.check.interval.ms=300000
20 zookeeper.connect=192.168.29.11:2181,192.168.29.12:2181,192.168.29.13:2181 #zk集群的位址
21 zookeeper.connection.timeout.ms=6000
22 group.initial.rebalance.delay.ms=0

四、啟動

$kafka_home/bin/kafka-server-start.sh -daemon ../config/server.properties

(3臺節點都要啟動)

注：初次啟動，可不加用-daemon引數，方便直接在控制台檢視輸出，啟動成功後，可ctrl+c結束掉，再加-daemon後台啟動。

五、驗證

5.1 建立topic

1$kafka_home/bin/kafka-topics.sh --create --zookeeper 192.168.29.11:2181 --replication-factor 2 --partitions 1 --topic mytopic

5.2 測試訊息發布

$kafka_home/bin/kafka-console-producer.sh --broker-list 192.168.29.60:9092 --topic mytopic

這個命令會進入乙個》提示符的終端，直接輸入訊息內容，回車就發出去了。

5.3 測試訊息接收

保持5.2的視窗不要關，再加乙個終端視窗

$kafka_home/bin/kafka-console-consumer.sh --zookeeper 192.168.29.11:2181 --topic mytopic --from-beginning

在剛才5.2的視窗裡，輸入些內容，順利的話，訊息接收視窗裡，就能收到訊息。

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...

Kafka集群部署

前提 在啟動kafaka集群，呼叫 bin kafka server start.sh config server.properties 前，需要把每台機器上zookeeper服務都給啟動了。zookeeper的安裝配置看，1 kafka集群規劃 s101 s102 s103 s104 zk zk ...