首先我們要知道：kafka依賴於zookeeper而zookeeper又依賴於jdk
1.1.jdk的安裝參考這裡安裝：
1.2.zookeeper的安裝
命令：wget
1.2.3 .解壓：tar - zxvf zookeeper-3.4.12.tar.gz
命令：tar - zxvf zookeeper-3.4.12.tar.gz -c /home/zk/ zookeeper- 3.4.12
1.2.4 .加入系統環境變數
命令： vi ~/.bash_profile
命令：source ~/.bash_profile
1.2.5.把配置檔案改名
命令：cp zoo_sample.cfg zoo.cfg
1.2.6.指定zookeeper的日誌檔案路徑，指定的檔案路徑沒有則需要自己建立
命令：vi zoo.cfg
日誌路徑：datadir=/home/zk/tmp
預設埠：clientport=2181
1.2.7.啟動zookeeper，檢視程序是否啟動
命令：bin/zkserver.sh start
命令：jps -m
2.1.開啟官方文件：kafka.apache.org
命令：wget
2.5 解壓
2.6.加入系統環境變數
命令： vi ~/.bash_profile
export path=path
命令：source ~/.bash_profile
2.7.進入config目錄開啟配置檔案
命令：vi server.properties
broker.id=03.1 啟動kafka唯一的，kafka比喻成乙個籃子，這個id就指籃子的id,不可重複的
advertised.listeners=plaintext://
192.168.95.4:9092 表示非kafka集群內的機器訪問kafka 需要配置的ip加埠
delete.topic.enable=true
是否啟用主題刪除，預設false
num.partitions=1
分割槽預設是1
log.segment.bytes=1073741824
日誌檔案的大小達到此值時，將建立乙個新的日誌檔案
zookeeper.connect=localhost:2181 配置zk所在的主機加埠，因為在同一臺，所以就localhost
命令：bin/kafka-server-start.sh config/server.properties
後台方式啟動：bin/kafka-server-start.sh -daemon config/server.properties
命令：bin/kafka-topics.sh --create --zookeeper 192.168.95.4:2181 --replication-factor 1 --partitions 1 --topic test
3.3檢視所有主題
命令：bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
3.4 啟動生產者，傳送訊息:指定broker
命令：bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic hello_topic
3.5 啟動消費者消費訊息:指定zookeeper
命令：bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic hello_topic --from-beginning
-from-beginning ：從頭開始消費
或者使用:bin/kafka-console-consumer.sh --bootstrap-server hadoop103:9092 --topic car
3.6 檢視所有topic的資訊
命令：bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181
3.6 檢視單個topic的資訊（比如之前遇到過kafka重新啟動之後，選舉不出leader導致生產者每次傳送訊息就報錯，leader的值是-1）
命令：bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic hello_topic
4.1 布置3個broker，命令如下：
cp server.properties server-1.propertiesls
cp server.properties server-2.propertiesls
cp server.properties server-3.propertiesls
4.2 配置server-1.propertiesls，server-2.propertiesls，server-3.propertiesls
4.2.1 vi server-1.propertiesls
broker.id=1
advertised.listeners=plaintext:
4.2.2 vi server-1.propertiesls
broker.id=2
advertised.listeners=plaintext:
4.2.3 vi server-1.propertiesls
broker.id=3
advertised.listeners=plaintext:
4.3 啟動kafka（後台啟動）
4.4 建立主題topic
kafka-topics.sh --create --zookeeper 127.0.0.1: 2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
4.5.檢視主題資訊
4.6 傳送訊息
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9093，127.0.0.1:9094，127.0.0.1:9095 --topic my-replicated-topic
bin/kafka-console-producer.sh --broker-list test:9093 --topic my-replicated-topic
4.7 消費訊息
bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic my-replicated-topic --from-beginning
Kafka安裝和簡單使用
首先安裝zookeeper和scala 安裝zookeeper root hadoop001 conf cp zoo sample.cfg zoo.cfg root hadoop001 conf vi zoo.cfg the number of milliseconds of each tick t...
從安裝到使用
從安裝到使用。debian ubuntu apt get install python pip pip installcentos yum install python setuptools easy install pip pip installwindows 參見 在 windows 上安裝服務...
kafka的簡單使用
mkdir logs broker的全域性唯一編號，不能重複，只能是整型，每個機器都不一樣 broker.id 0 刪除topic功能使用 delete.topic.enable true 處理網路請求的執行緒數量 num.network.threads 3 用來處理磁碟io的現成數量 num.io...