kafka是乙個分布式的訊息佇列,一般在整個系統中起到解耦,削峰,非同步處理的作用。整個系統分為消費者和生產者,生產者往裡面寫入資料,消費者取出資料進行邏輯處理。
其實zookeeper就是乙個服務註冊和發現中心。kafka使用zookeeper來進行動態的集群擴充套件,不需要修改客戶端的配置。
在開啟kafka伺服器之前一定要先開啟zookeeper伺服器,負責會報錯。
進入zookeeper安裝目錄\bin,開啟zkserver.cmd,就可以看見已經繫結了本機的2181埠
進入kafka的安裝目錄,同時按shift和滑鼠右鍵,開啟命令列工具,輸入.\bin\windows\kafka-server-start.bat .\config\server.properties
,就可以開啟kafka伺服器了。
重新開乙個命令列視窗,輸入.\bin\windows\kafka-topices.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1--topic dblab ,
建立乙個topic
然後開啟乙個生產者,在剛才的視窗下輸入.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic dblab
再開啟乙個消費者視窗,輸入.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 dblab --from -beginning
然後你在生產者的視窗輸入字元,會看見消費者也會有同樣的字元輸出,我們的kafka就安裝成功了。
kafka使用與安裝
集群安裝 1 解壓 2 修改server.properties broker.id 1 zookeeper.connect weekend05 2181,weekend06 2181,weekend07 2181 3 將zookeeper集群啟動 4 在每一台節點上啟動broker 啟動的時候 如果...
Kafka 安裝與使用
html wget kafka安裝包和一般安裝包的命名方式不一樣,我們看乙個kafka包命名 kafka 2.11 1.1.0.tgz,其中2.11是scala的版本,1.1.0才是kafka的版本。官方強烈建議scala版本和伺服器上的scala版本保持一致,避免引發一些不可預知的問題。將安裝包放...
KaFka 安裝與基本使用
學了有一段時間的大資料了,學習新的元件,大部分安裝可以分為三步 上傳解壓,配置檔案,啟動。分享一下我的kafka安裝包 1 上傳解壓 2 進入到 usr local soft kafka 2.10 0.8.2.2 config 目錄下,修改server.properties檔案 3 因為kafka是...