**:
kafka集群配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置
建立乙個僅有乙個partition的topic
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic kafkatopic
或者:./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic kafkatopic
版本不同語法不同,參考:
用kafka提供的生產者客戶端啟動乙個生產者程序來傳送訊息:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic
其中有兩個引數需要注意:
topic:生產者傳送給哪個topic
然後你就可以輸入一些訊息用於傳送
啟動乙個consumer例項來消費訊息
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning
當你執行這個命令之後,你便可以看到控制台上列印出的生產者生產的訊息
和上面的一樣
要想在一台機器上啟動多個broker例項,只需要準備多個server.properties檔案即可,比如我們要在一台機器上啟動兩個broker。
首先我們要準備兩個server.properties配置檔案
server-1 brokerid=1port=9092log.dir=/temp/kafka8-logs/broker1
server-2 brokerid=2port=9093log.dir=/temp/kafka8-logs/broker2
然後我們再用這兩個配置檔案分別啟動乙個broker
[root@localhost kafka]# env jmx_port=9999 bin/kafka-server-start.sh config/server-1.properties
[root@localhost kafka]# env jmx_port=10000 bin/kafka-server-start.sh config/server-2.properties
可以看到我們啟動是為每個broker都指定了不同的jmx port,jmx port主要用來利用jconsole等工具進行監控和排錯
建立乙個含有兩個partition分割槽和2個備份的topic:
[root@localhost kafka]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 2 --partition 2 --topic othertopic
如果我們要用乙個producer傳送給多個broker,唯一需要改變的就是在broker-list屬性中指定要連線的broker
[root@localhost kafka]# bin/kafka-console-producer.sh --broker-listlocalhost:9092,localhost:9093--topic othertopic
和之前的命令一樣
zookeeper配置檔案(zookeeper.properties):不變
broker的配置配置檔案(server.properties):按照單節點多例項配置方法在乙個節點上啟動兩個例項,不同的地方是zookeeper的連線串需要把所有節點的zookeeper都連線起來
zookeeper.connect=node1:2181,node2:2181
kafka 詳細配置(broker)
以下是kafka broker 詳細配置的引數 預設值 描述 引數 預設值 描述 broker.id 1 每乙個boker都有乙個唯一的id作為它們的名字。當該伺服器的ip位址發生改變時,broker.id沒有變化,則不會影響consumers的訊息情況 port 9092 broker serve...
kafka命令操作 詳細
kafka0.10.2.1搭建看我另一篇文章 kafka0.10.2.1集群搭建 詳細 在用kafka命令操作之前必須進入kafka的目錄下 cd soft kafka 這裡我的kafka在soft下1.開啟kafka bin kafka server start.sh config server....
kafka整合flume詳細步驟
對於初學者來說,可能對kafka和flume有一定的了解,但是並沒有過實際的應用,也不知道如何來使用。這篇文章主要針對kafka和flume的整合 環境 linux 準備工作 搭建好zookeeper集群及kafka集群 版本 kafka 2.11 1.1.0,flume 1.8.0 步驟 啟動zo...