最近在學習kafka，學習一下kafka集群的搭建過程，並體驗一下通過命令列使用kafka訊息佇列的簡單功能，在這裡做一下記錄，方便以後查閱。
解壓，tar -xzvf kafka_2.12-2.5.0.tgz。
把解壓出來的資料夾重新命名一下，mv kafka_2.12-2.5.0 kafka。
因為kafka是基於zookeeper的，所以我提前搭好了zk集群，zk1，zk2，zk3，所以分別在三颱機器上重複以上操作。
在啟動前需要對kafka的配置檔案做一些調整。
進入kafka資料夾，cd kafka，新建logs目錄，mkdir logs，這個目錄是之後存放kafka日誌和資料的。
kafka主程式的配置檔案為config下的server.properties，vim config/server.properties，其中有一下幾項需要修改。
broker.id是kafka在集群中的唯一id，只能是整數，這裡為了對應zk的名字，我分別標為1，2，3。
listeners=plaintext:這行配置本來是沒有的，kafka是預設用9092埠來監聽服務的，只要你三颱機器的ip不同，直接用預設就好。但是我其實用的是三個docker搭的zk集群，由於docker是host模式，所以ip都跟宿主機相同，全用9092埠會衝突，所以我分別用了9091,9092,9093。
這條配置是kafka連線zk的ip和埠。
三颱伺服器都配置好後，就可以啟動了，在kafka目錄中執行命令，bin/kafka-server-start.sh -daemon config/server.properties，命令中的-daemon是讓程式啟動後在後台執行，config/server.properties是指定配置檔案。啟動後可以jps看下是否都執行了。
然後進入zk中看下，發現kafka在zk中新建了/brokers節點，其中ids中寫入了1，2，3，對應三個kafka的broker.id。
bin/kafka-topics.sh --create --zookeeper 192.168.1.129:2181 --topic call --partitions 2 --replication-factor 2，其中–create是建立乙個新的topic，–zookeeper是指定連線的zk，–topic是topic的名字，–partitions是分割槽數，–replication-factor是副本數，分割槽數任意，副本數不能超過broker數量。
bin/kafka-topics.sh --delete --zookeeper 192.168.1.129:2181 --topic call，刪除某個topic。
bin/kafka-topics.sh --describe --zookeeper 192.168.1.129:2181 --topic call，檢視某個topic的分割槽數、副本數等資訊。
bin/kafka-topics.sh --list --zookeeper 192.168.1.129:2181，列出所有的topic。
接下來在1號機器上啟動乙個生產者，bin/kafka-console-producer.sh --topic call --broker-list 192.168.1.129:9091，其中–broker-list是指出連線的kafka的ip和埠。在3號機器上啟動乙個消費者，bin/kafka-console-consumer.sh --topic call --bootstrap-server 192.168.1.129:9092。
可以看到生產者分別輸入login和hello world，消費者馬上會消費到。
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...