kafka基礎學習（二）安裝說明文件

集群規劃

hadoop102 hadoop103 hadoop104 zk zk zk

kafka kafka kafka

1）解壓安裝包

tar -zxvf kafka_2.11-0.11.0.0.tgz -c /opt/module/

2）修改解壓後的檔名稱

mv kafka_2.11-0.11.0.0/ kafka

3）在/opt/module/kafka目錄下建立logs資料夾

mkdir logs

4）修改配置檔案

cd config/

vi server.properties

配置檔案修改如下：

#broker的全域性唯一編號，不能重複 broker.id=0 #刪除topic功能 delete.topic.enable=true #處理網路請求的執行緒數量 num.network.threads=3 #用來處理磁碟io的現成數量 num.io.threads=8 #傳送套接字的緩衝區大小 socket.send.buffer.bytes=102400 #接收套接字的緩衝區大小 socket.receive.buffer.bytes=102400 #請求套接字的緩衝區大小 socket.request.max.bytes=104857600 #kafka執行日誌存放的路徑 log.dirs=/opt/module/kafka/logs #topic在當前broker上的分割槽個數 num.partitions=1 #用來恢復和清理data下資料的執行緒數量 num.recovery.threads.per.data.dir=1 #segment檔案保留的最長時間，超時將被刪除 log.retention.hours=168 #配置連線zookeeper集群位址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5）配置環境變數

sudo vi /etc/profile #kafka_home export kafka_home=/opt/module/kafka export path= $path :$kafka_home/bin

source /etc/profile

分發安裝包

xsync kafka/

注意：分發之後記得配置其他機器的環境變數

7）分別在hadoop103和hadoop104上修改配置檔案/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

注：broker.id不得重複

8）啟動集群

依次在hadoop102、hadoop103、hadoop104節點上啟動kafka

bin/kafka-server-start.sh -daemon config/server.properties bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-server-start.sh -daemon config/server.properties

9）關閉集群

bin/kafka-server-stop.sh stop bin/kafka-server-stop.sh stop

bin/kafka-server-stop.sh stop

非集群模式，單純用於學習。

1. 拉取映象：zk 和 kafka。

// 拉取zk和kafka映象 docker pull wurstmeister/zookeeper

docker pull wurstmeister/kafka

2. 執行容器：zk 和 kafka。

docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env kafka_zookeeper_connect=zookeeper:2181 --env kafka_advertised_host_name=192.168.115.34 --env kafka_advertised_port=9092 wurstmeister/kafka

0.10.x版本及其以後

後來發現最新版本0.10.x broker配置棄用了advertised.host.name 和 advertised.port 這兩個個配置項，就配置advertised.listeners就可以了。

3. 進入容器，驗證是否執行成功。

進入容器

docker exec -it kafka /bin/bash

進入你拉取映象的指定版本

cd /opt/kafka/

執行kafka相關命令程式

bash-4.4# cd bin/ bash-4.4# ls connect-distributed.sh kafka-console-producer.sh kafka-log-dirs.sh kafka-server-start.sh windows connect-mirror-maker.sh kafka-consumer-groups.sh kafka-mirror-maker.sh kafka-server-stop.sh zookeeper-security-migration.sh kafka-acls.sh kafka-delegation-tokens.sh kafka-producer-perf-test.sh kafka-topics.sh zookeeper-server-stop.sh kafka-broker-api-versions.sh kafka-delete-records.sh kafka-reassign-partitions.sh kafka-verifiable-consumer.sh zookeeper-shell.sh kafka-configs.sh kafka-dump-log.sh kafka-replica-verification.sh kafka-verifiable-producer.sh

kafka-console-consumer.sh kafka-leader-election.sh kafka-run-class.sh trogdor.sh

建立乙個topic

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 伺服器ip:zookeeper埠 --replication-factor 1 --partitions 1 --topic test-topic

–replication-factor 副本數。

檢視topic

/opt/kafka/bin/kafka-topics.sh --zookeeper zookeeper:2181 --list

向topic中傳送訊息

/opt/kafka/bin/kafka-console-producer.sh --broker-list 伺服器ip:kafka埠 --topic test-topic

從topic中消費訊息

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 伺服器ip:kafka埠 --topic my-test --from-beginning

kafka基礎學習（二）安裝說明文件

Vue 基礎說明文件

Mantis安裝說明文件

R中prophet包說明文件（二）

kafka基礎學習（二） 安裝說明文件

Vue 基礎說明文件

Mantis安裝說明文件

R中prophet包說明文件（二）

相關推薦

kafka基礎學習（二）安裝說明文件