kafka集群配置 windows版

2021-09-02 09:05:39 字數 2602 閱讀 6156

1.拷貝conf/server.properties為

第乙個節點server-9093.properties,修改如下內容:

broker.id=9093

port=9093

host.name=127.0.0.1

log.dirs=/tmp/kafka-logs-9093

zookeeper.connect=localhost:2181

第二個節點server-9094.properties,修改如下內容:

broker.id=9094

port=9094

host.name=127.0.0.1

log.dirs=/tmp/kafka-logs-9094

zookeeper.connect=localhost:2181

2.拷貝bin/windows/*.bat 到bin

3.修改kafka-run-class.bat

將set ivypath=%userprofile%\.ivy2\cache

set library=%ivypath%/org.scala-lang/scala-library/jars/scala-library-2.8.0.jar

call :concat %library%

set compiler=%ivypath%/org.scala-lang/scala-compiler/jars/scala-compiler-2.8.0.jar

call :concat %compiler%

set log4j=%ivypath%/log4j/log4j/jars/log4j-1.2.15.jar

call :concat %log4j%

set slf=%ivypath%/org.slf4j/slf4j-api/jars/slf4j-api-1.6.4.jar

call :concat %slf%

set zookeeper=%ivypath%/org.apache.zookeeper/zookeeper/jars/zookeeper-3.3.4.jar

call :concat %zookeeper%

set jopt=%ivypath%/net.sf.jopt-******/jopt-******/jars/jopt-******-3.2.jar

call :concat %jopt%

for %%i in (%base_dir%\core\target\scala-2.8.0\*.jar) do (

call :concat %%i

)for %%i in (%base_dir%\core\lib\*.jar) do (

call :concat %%i

)for %%i in (%base_dir%\perf\target\scala-2.8.0/kafka*.jar) do (

call :concat %%i

)替換為:

for %%i in (%base_dir%\libs\*.jar) do (

call :concat %%i

)4.修改kafka_2.10-0.8.1.1\config\log4j.properties

kafka.logs.dir=/logs

5.啟動指令碼

第乙個節點:

set jmx_port=19093

cd kafka_2.10-0.8.1.1\bin

kafka-server-start.bat ..\config\server-9093.properties

第二個節點:

set jmx_port=19094

cd kafka_2.10-0.8.1.1\bin

kafka-server-start.bat ..\config\server-9094.properties

6.建立topic批處理指令碼bin\kafka-topics.bat

kafka-run-class.bat kafka.admin.topiccommand %*

7.建立topic

cd kafka_2.10-0.8.1.1\bin

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic my-replicated-topic

8.檢視topic描述資訊

cd kafka_2.10-0.8.1.1\bin

kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic

9.生產topic訊息

cd kafka_2.10-0.8.1.1\bin

kafka-console-producer.bat --broker-list localhost:9093 --topic my-replicated-topic

10.消費topic訊息

cd kafka_2.10-0.8.1.1\bin

kafka-console-consumer.bat --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

Kafka集群配置

1 kafka概念 topic kafka 按照topic 分類來維護訊息,每個topic可以配置多個partition 分割槽 每個分割槽只能被乙個消費者消費,每個partition對應乙個commit log檔案 producer 我們將發布 publish 訊息到topic的程序稱之為生產者 ...

Kafka詳解二 如何配置Kafka集群

kafka集群配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置 1.首先啟動zookeeper服務 kafka本身提供了啟動zookeeper的指令碼 在kafka bin 目錄下 和zookeeper配置檔案 在kafka config 目錄下 首先進入kafka的主目錄 可通過 ...

Kafka詳解二 如何配置Kafka集群

kafka集群配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置 1.首先啟動zookeeper服務 kafka本身提供了啟動zookeeper的指令碼 在kafka bin 目錄下 和zookeeper配置檔案 在kafka config 目錄下 首先進入kafka的主目錄 可通過 ...