此次學習所用的kakfa版本較老,為17年的版本
kafka所用
kafka_2.11-0.10.1.1.tgz
zookepper
zookeeper-3.4.8.tar.gz
jdk1.8
setup
二.安裝
檔案都放/opt下
tar -zxvf zookeeper-3.4.8.tar.gz
tar -zxvf kafka_2.11-0.10.1.1.tgz
三.配置zookeper檔案並啟動
cd /opt/zookeeper-3.4.8/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改這兩條,沒有則新增
datadir=/opt/zookeeper_data
datalogdir=/opt/zookeeper_data/log
建立資料夾
mkdir -p /opt/zookeeper_data/log
啟動zookepper
/opt/zookeeper-3.4.8/bin/zkserver.sh start
四.配置kafka並啟動
cd /opt/kafka_2.11-0.10.1.1/config
修改server.properties
log.dirs=/opt/kafka-logs
zookeeper.connect=localhost:2181(如果zookepper不在一台機器上,需要改.此次不改)
建立資料夾
mkdir -p /opt/kafka-logs
啟動kafka
cd /opt/kafka_2.11-0.10.1.1
nohup bin/kafka-server-start.sh config/server.properties &
五.使用kafka
cd /opt/kafka_2.11-0.10.1.1
如果配置了hosts.可以修改主機名
1）： 檢視是否成功了
新建乙個topic
命令：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
檢視 topic是否成功
命令：bin/kafka-topics.sh --list --zookeeper localhost:2181
2）：把kafka的生產者啟動來
命令 ：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
3）：另開乙個終端（建立新的），把消費者啟動起來：
命令：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning
Kafka學習筆記 Kafka環境搭建
1.將kafka的tar包上傳到測試環境，解壓到 opt software，配置環境變數 kafka home opt software kafka 2.11 1.1.0 path kafka home bin scala home bin path export kafka home export...
kafka搭建 快速搭建Kafka服務
搞流處理的話，無論如何是繞不過kafka的了，還好kafka是乙個概念比較好理解的架構模型。我覺得官方的這三張圖已經很好地把模型結構給闡述清楚了。發布 訂閱模型 實現訊息寫入與訊息讀取解耦。kafka相當於是乙個訊息緩衝池 2.日誌檔案順序結構 kafka的高吞吐量就是依賴順序寫入 當然還包括了一些...
一 kafka介紹和搭建
kafka是乙個分布式訊息佇列。具有高效能 持久化 多副本備份 橫向擴充套件能力。生產者往佇列裡寫訊息，消費者從佇列裡取訊息進行業務邏輯。一般在架構設計中起到解耦 削峰 非同步處理的作用。2.解壓並移動，然後建立日誌目錄 tar zxvf kafka 2.12 2.1.1 tgz mv kafka ...