使用kafka自帶的zookeeper進行安裝(可參看kafka自帶的說明檔案)
為kafka和zookeep配置centos下的服務
為kafka和zookeep配置firwalld相關的檔案
前提安裝環境為centos7.x,官網**最新版的kafka,解壓至/opt/kafka中(可以建立乙個指向當前版本的軟連線)。
tar -zxf kafka_2.12-2.1.1.tar.gz -c /opt // 解壓到指定資料夾下
ln -s /opt/kafka_2.12-2.1.1 /opt/kafka // 建立指向當前版本的軟連線為zookeeper建立服務
系統定義服務指令碼位於/usr/lib/systemd/system/目錄下,自定義服務指令碼位於/etc/systemd/system/目錄下。因此在/etc/systemd/system/目錄下,新建zookeeper.service檔案,內容如下:
[unit]
description=zookeeper.service
after=network.target
[service]
user=root
type=idle
enviroment=zoo_log_dir=/var/log/zookeeper
execstart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
execstop=/opt/kafka/bin/zookeeper-server-stop.sh /opt/kafka/config/zookeeper.properties
execreload=$execstop;$execstart
[install]
wantedby=multi-user.target為kafka建立服務
在/etc/systemd/system/目錄下,建立kafka.service檔案
[unit]
description=kafka.service
after=network.target remote-fs.target zookeeper.service
[service]
user=root
type=idle
execstart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
execstop=/opt/kafka/bin/kafka-server-stop.sh /opt/kafka/config/server.properties
execreload=$execstop;$execstart
[install]
wantedby=multi-user.target為zookeeper建立firewalld的配置檔案
系統自帶的firewalld管理的服務位於/usr/lib/firewalld/services/目錄下,自定義的firewalld管理服務位於/etc/firewalld/services/目錄下。因此在/etc/firewalld/services/目錄下,新建zookeeper.xml檔案,內容如下:
<?xml version="1.0" encoding="utf-8"?>
zookeeper
zookeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. usually used with kafka.
為kafka建立firewalld的配置檔案
在/etc/firewalld/services/目錄下,新建kafka.xml檔案,內容如下:
<?xml version="1.0" encoding="utf-8"?>
kafka
kafka is a streaming platform.
centos7單機安裝kafka
基礎要求作業系統 centos 7x 64位 kafka版本 kafka 2.11 0.8.2.1 提取碼 ns3c 1 關閉selinux 開放防火牆9092埠 root wzy x vi etc selinux config root wzy x tail 2 etc selinux confi...
CentOS 7下安裝Kafka單機版
啟動kafka服務 kafka server start.sh config server.properties ps ef grep kafka檢視,觀察到zookeeper和kafka服務已啟動 建立乙個叫 test1234 的topic,它只有乙個分割槽,乙個副本 kafka topics.s...
Centos7下kafka集群搭建
1.kafka以topic來進行訊息管理,每個topic包含多個partition,每個partition對應乙個邏輯log,有多個segment組成。2.每個segment中儲存多條訊息 見下圖 訊息id由其邏輯位置決定,即從訊息id可直接定位到訊息的儲存位置,避免id到位置的額外對映。3.每個p...