一：kafka的安裝
2.vi /usr/lib/kafka/config/server.properties
broker.id=5
log.dirs=/usr/lib/kafka/kafka-logs
log.flush.interval.messages=10000 預設不用修改
log.flush.interval.ms=1000 預設不用修改
zookeeper.connect=master:2181,n3:2181,n4:2181
master 1 9092
n3 2 9093
n4 3 9094
二：應用
1. 開啟服務：master-1：nohup /usr/lib/kafka/
bin/kafka-
server
-start.sh
/usr/lib/kafka/
config/server.properties &
master-2：nohup /usr/lib/kafka/bin/kafka-
server
-start.sh /usr/lib/kafka/config/server1.properties &
2.jps 兩個kafka專案
3.建立topic
sh /usr/lib/kafka/
bin/
kafka-topics.sh --create --zookeeper
master:2181,n3:2181,n4:2181
--partitions 3 --topic test0107-1 --replication-factor 2
4.檢視佇列情況sh
/usr/lib/kafka/
bin/kafka-topics.sh --describe
test0107-1
--zookeeper
master:2181,n3:2181,n4:2181
5.檢視topic
sh kafka-topics.sh --list --zookeeper master:2181,n3:2181,n4:2181
6.進入zookeeper的客戶端
/opt/cloudera/parcels/cdh-5.2.0-1.cdh5.2.0.p0.36/lib/zookeeper/bin/zkcli.sh -server master:2181
,n3:2181,n4:2181
ls /brokers/topics/test0107-1/partitions
get /brokers/topics/test0107-1/partitions/2
7.建立傳送者
傳送訊息.
sh kafka-console-producer.sh --broker-list localhost:9092 --topic test02
8.建立消費者
sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic test02 --from-beginning
生產者：bin/run-example org.apache.spark.examples.streaming.kafkawordcountproducer localhost:9092 test02 3 5
消費者：bin/run-example org.apache.spark.examples.streaming.kafkawordcount localhost:2181 test-consumer-group test 1
emace -nw *編輯檔案
進入zookeeper：./zkcli.sh -server hadoop2:2181
ls /
ls /brokers
ls /brokers/ids
檢視消費者
ls /consumers/
消費資料
get //../.1
不建議刪除 有bug
kafka 基礎知識，安裝及使用
kafka是一種高吞吐量的分布式發布訂閱訊息系統，它可以處理消費者規模的 中的所有動作流資料。這種動作 網頁瀏覽，搜尋和其他使用者的行動 是在現代網路上的許多社會功能的乙個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。kafka名詞解釋 kafka基基原理 訊息模型分為兩種...
kafka安裝使用
先來說下kafka是個什麼東西，它是乙個訊息中介軟體框架，只負責發布 訂閱 幫忙存東西的 接著給大家看一張大致的kafka流程圖 首先打個比方，kafka好比就是 電視台，而 電視台下面有很多節目，生產者就是製作節目的團隊，而消費者就是我們 這個節目的人，一開始 電視台建立乙個節目，假設就叫cctv...
kafka使用與安裝
集群安裝 1 解壓 2 修改server.properties broker.id 1 zookeeper.connect weekend05 2181,weekend06 2181,weekend07 2181 3 將zookeeper集群啟動 4 在每一台節點上啟動broker 啟動的時候 如果...