linux環境kafka的安裝和使用

wget

tar -zxvf kafka_2.13-2.4.0.tgz -c /usr/kafka

#找到broker.id並修改為1(如果是多個kafka服務，需配置不同broker.id作為標識)

broker.id=1
找到log.dirs並修改為指定路徑（自行修改）
#以後kafka產生的日誌都會存在此路徑
log.dirs=/usr/kafka/kafka_log

進入到kafka_2.13-2.0目錄之下，輸入以下命令啟動zookeeper

# -daemon為以後臺的方式啟動、後面意思是指定以config/zookeeper.properties的配置來啟動
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

#檢視zookeeper是否啟動，如果出現quorumpeermain表示已啟動

jps# 後跟config/server.properties表示為以該配置來啟動服務
# --create為建立

# --zookeeper localhost:2181為指定zookeeper的位址（這裡為本地，非本地需指定ip，zk的預設埠為2181）
# -replication-factor 1 為指定副本的個數（partition的副本，consumer並不會從副本中消費資料，而是為了防止資料丟失）
# --partitions 1 為指定分割槽個數（topic的資料被分割成乙個或多個partition，topic至少有乙個partition）
# --topic qixingcxy_test1 指定topic的名字為qixingcxy_test1
bin/kafka-topics.sh --create --zookeeper localhost:2181 -replication-factor 1 --partitions 1 --topic qixingcxy_test1

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic qixingcxy_test1
bin/kafka-topics.sh --list --zookeeper localhost:2181

# --broker-list localhost:9092 為連線對應的broker（這裡連線的是本地埠為9092的broker服務，可指定ip連線指定的broker）

# --topic qixingcxy_test1 指定把訊息生產到哪個topic中
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic qixingcxy_test1

# --bootstrap-server localhost:9092 指定從哪個broker中拉取訊息，（當我們連線到任意乙個broker後，

# 我們就已經連線到了整個kafka集群，我們連線的第乙個broker稱之為bootstrap broker）
# --from-beginning 表示從頭開始讀取
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic qixingcxy_test1 --from-beginning
				
Linux下搭建kafka環境
apache官網 tar xzf kafka 2.10 0.8.2.2.tgz cd kafka 2.10 0.8.2.2 啟動zk有兩種方式，第一種是使用kafka自己帶的乙個zk。bin zookeeper server start.sh config zookeeper.properties ...
				
Linux下搭建kafka環境
apache官網 tar xzf kafka 2.10 0.8.2.2.tgz cd kafka 2.10 0.8.2.2 3.啟動服務 3.1 啟動zookeeper 啟動zk有兩種方式，第一種是使用kafka自己帶的乙個zk。bin zookeeper server start.sh confi...
				
Linux下kafka環境搭建
一 安裝jdk 首先檢查是否安裝了jdk，如果沒安裝則先安裝jdk kafka 2.10 0.10.0.1.tgz 三 解壓與配置 1.將壓縮包放到安裝目錄下解壓 tar zxvf kafka 2.10 0.10.0.1.tgz 2.資料夾重新命名 mv kafka 2.10 0.10.0.1 ka...