為了初步了解kafka功能和效能，通過實驗簡單試用。
（1）kafka_2.9.1-0.8.2.1演示：
zookeeper server：
192.168.1.66:2181
kafka server：
192.168.1.66:9092
kafka consumer：
192.168.1.55
wget
tar xzvf kafka_2.9.1-0.8.2.1.tgz
cd kafka_2.9.1-0.8.2.1
前提zookeeper已經啟動：
在zookeeper的路徑下執行：bin/zkserver.sh start
啟動kafka server：
$ bin/kafka-server-start.sh config/server.properties
$ bin/kafka-topics.sh --create --zookeeper 192.168.1.66:2181 --replication-factor 1 --partitions 1 --topic test
created topic "test".
$ bin/kafka-topics.sh --list --zookeeper 192.168.1.66:2181
test
-------kafka producer：
host：192.168.1.66
#consle演示
bin/kafka-console-producer.sh --broker-list 192.168.1.66:9092 --topic test
#效能測試
bin/kafka-producer-perf-test.sh --topic test --batch-size=1000 --broker-list=192.168.1.66:9092 --message-size 100 --messages=1000000
start.time, end.time, compression, message.size, batch.size, total.data.sent.in.mb, mb.sec, total.data.sent.in.nmsg, nmsg.sec
2016-01-22 13:11:02:308, 2016-01-22 13:11:13:177, 0, 100, 1000, 95.37, 8.7743, 1000000, 92004.7842
-------kafka consumer：
host：192.168.1.55
#console演示
bin/kafka-console-consumer.sh --zookeeper 192.168.1.66:2181 --topic test --from-beginning
#效能測試
bin/kafka-consumer-perf-test.sh --topic test --message-size 100 --messages 1000000 --zookeeper 192.168.1.66:2181 --threads 1
start.time, end.time, fetch.size, data.consumed.in.mb, mb.sec, data.consumed.in.nmsg, nmsg.sec
2016-01-22 13:13:37:857, 2016-01-22 13:13:44:046, 1048576, 122.0698, 102.6660, 1000000, 841042.8932
（2）kafka_2.11-0.9.0.0演示
全部在localhost進行演示
wget
tar xzvf kafka_2.11-0.9.0.0.tgz
cd kafka_2.11-0.9.0.0
前提zookeeper已經啟動：
在zookeeper的路徑下執行：bin/zkserver.sh start
啟動kafka server：
bin/kafka-server-start.sh config/server.properties
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
#console演示
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#效能測試
bin/kafka-producer-perf-test.sh --topic test --num-records=400000 --record-size 128 --throughput 200000 --producer-props bootstrap.servers=localhost:9092
bin/kafka-producer-perf-test.sh --topic test --num-records=4000000 --record-size 128 --throughput 400000 --producer-props bootstrap.servers=localhost:9092 producer.type=sync compression.codec=none serializer.class=kafka.serializer.defaultencoder
#console演示
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
#效能測試(default: 10 threads)
bin/kafka-consumer-perf-test.sh --broker-list localhost:9092 --topic test --message-size 128 --messages 400000 --zookeeper localhost:2181
#效能測試(1 thread)
bin/kafka-consumer-perf-test.sh --broker-list localhost:9092 --topic test --message-size 128 --messages 4000000 --zookeeper localhost:2181 --threads 1
（3）參考
kafka學習記錄
kafka集群搭建 1 搭建 2 配置檔案介紹 軟體環境 linux 需要有zookeeper集群，版本選擇0.8.1 kafka 原始碼包 配置檔案 server.properties 不推薦使用預設的zookeeper broker.id 0 例項id 集群中的唯一標示 prot 9092 ho...
Kafka學習記錄
kafka適合什麼樣的場景?它可以用於兩大類別的應用 構造實時流資料管道，它可以在系統或應用之間可靠地獲取資料。相當於message queue 構建實時流式應用程式，對這些流資料進行轉換或者影響。就是流處理，通過kafka stream topic和topic之間內部進行變化 以下是一些基本的概念...
Kafka踩坑記錄
replication factor 複製因子 不能大於brokers的數量，且不能為0，因為它包括了主和從的副本。log.dirs值，表示kafka資料的存放目錄，而非kafka的日誌目錄 kafka的logs日誌目錄預設輸出到 logs目錄下 修改kafka的logs目錄是在 bin kafka...