kafka安裝及配置過程
一、安裝
使用tar -xzvf kafka_2.12-2.4.0.tgz 解壓
為了使用方便,可以建立軟鏈結kafka0
ln -s kafka_2.12-2.4.0 kafka0
二、zookeeper配置
1. 單獨使用zookeeper安裝檔案建立集群
zookeeper的安裝及配置可以參考另一篇部落格,裡面有詳細介紹
zookeeper的安裝和配置過程
2. 直接使用其自帶的zookeeper建立集群
kafka自帶的zookeeper程式指令碼與配置檔名與原生zookeeper稍有不同。
kafka自帶的zookeeper程式使用bin/zookeeper-server-start.sh,以及bin/zookeeper-server-stop.sh來啟動和停止zookeeper。
而zookeeper的配製檔案是config/zookeeper.properties,可以修改其中的引數
(1) 啟動zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
加-daemon引數,可以在後台啟動zookeeper,輸出的資訊在儲存在執行目錄的logs/zookeeper.out檔案中。
對於小記憶體的伺服器,啟動時有可能會出現如下錯誤
os::commit_memory(0x00000000e0000000, 536870912, 0) failed; error='not enough space' (errno=12)
可以通過修改bin/zookeeper-server-start.sh中的引數,來減少記憶體的使用,將下圖中的-xmx512m -xms512m改小。
(2)關閉zookeeper
bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties
三、kafka配置
kafka的配置檔案在config/server.properties檔案中,主要修改引數如下,更具體的引數說明以後再整理下。
broker.id是kafka broker的編號,集群裡每個broker的id需不同。我是從0開始。
listeners是監聽位址,需要提供外網服務的話,要設定本地的ip位址
log.dirs是日誌目錄,需要設定
設定zookeeper集群位址,我是在同乙個伺服器上搭建了kafka和zookeeper,所以填的本地位址
num.partitions 為新建topic的預設partition數量,partition數量提公升,一定程度上可以提公升併發性
內部topic配置
內部__consumer_offsets和__transaction_state兩個topic,分組元資料的複製因子,為了保證可用性,在生產上建議設定大於1。
default.replication.factor為kafka儲存訊息的副本數,如果乙個副本失效了,另乙個還可以繼續提供服務,是在自動建立topic時的預設副本數,可以設定為3
四、啟動及停止kafka
1. 啟動kafka
bin/kafka-server-start.sh -daemon config/server.properties
-daemon 引數會將任務轉入後台執行,輸出日誌資訊將寫入日誌檔案,日誌檔案在執行命令的目錄下的logs目錄中kafkaserver.out,結尾輸同started說明啟動成功。
也可以用jps命令,看有沒有kafka的程序
2. 停止kafka
bin/kafka-server-stop.sh config/server.properties
五、測試
kafka和zookeeper已啟動完成
1. 建立topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test
2. 檢視主題
bin/kafka-topics.sh --list --zookeeper localhost:2181
3. 傳送訊息
bin/kafka-console-producer.sh --broker-list 1localhost:9092 --topic test
4. 接收訊息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
5. 檢視特定主題的詳細資訊
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
從中可以看到,test主題分了三個區,複製因子是3。
6. 刪除主題
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
apache apollo安裝及配置過程
apollo以activemq原型為基礎,是乙個更快 更可靠 更易於維護的訊息 工具。apache稱apollo為最快 最強健的stomp streaming text orientated message protocol,流文字定向訊息協議 伺服器.它採用乙個完全不同的訊息分發架構,同activ...
kafka配置以及安裝
rm f consumer.properties server.properties producer.properties zookeeper.properties vi kafka config server.properties 修改broker.id 1,host.name kafka02 ...
kafka安裝與配置
以上兩個程式需一直開啟!第三步 建立主題,開啟cmd命令 路徑 kafka 2.10 0.10.0.0 命令 bin windows kafka topics.bat create zookeeper localhost 2181 replication factor 1 partitions 1 ...