bigdata Kafka集群模式部署

2022-05-06 03:24:08 字數 1534 閱讀 7217

環境:kafka 0.8.1.1

基本概念

kafka維護按類區分的訊息,稱為主題(topic)

生產者(producer)向kafka的主題發布訊息

消費者(consumer)向主題註冊,並且接收發布到這些主題的訊息

kafka以乙個擁有一台或多台伺服器的集群執行著,每一台伺服器稱為broker

zookeeper配置

修改zk的配置檔案conf/zoo.cfg

server.1=zk1:2888:3888  

server.2=zk2:2888:3888

server.3=zk3:2888:3888

啟動zookeeper集群

$zk_home/bin/zkserver.sh start
kafka配置

分別修改kafka集群中每個節點的config/server.properties,這裡做的是最簡配置

#不同的節點上broker不同,可以從0開始遞增

broker.id=0

#本地ip

host.name=本機ip

#broker埠號(預設為9092)

port=9092

#kafkalog日誌位置

log.dirs=/data/kafka-logs

#zookeeper位址(zk監聽埠預設為2181)

zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

啟動broker(每台節點都要執行)

bin/kafka-server-start.sh config/server.properties
測試

#建立topic(3分割槽,2備份)

bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 2 --partitions 3 --topic test

#檢視存在的topic

bin/kafka-topics.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --list

#往topic中寫入訊息

bin/kafka-console-producer.sh --broker-list zk1:9092,zk2:9092,zk3:9092 --topic test

#檢視topic中資訊

bin/kafka-console-consumer.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic tesr --from-beginning

RocketMQ 廣播消費模式與集群消費模式

rocketmq有兩種消費模式 broadcasting廣播模式,clustering集群模式,預設的是 集群消費模式。廣播消費指的是 一條訊息被多個consumer消費,即使這些consumer屬於同乙個consumergroup,訊息也會被consumergroup中的每個consumer都消費...

共模差模阻抗

特性阻抗 差分阻抗含義 特性阻抗 是根據輸入阻抗計算的出的平均值。輸入阻抗 是線纜實際量測的阻抗值。差分阻抗 發射訊號可正負交替又稱為平衡阻抗。共模阻抗 導體走正編織或地線走負的訊號。目前用於同軸線或帶地線的cable。又稱不平衡阻抗。特性阻抗 假設一根均勻電纜無限延伸,在發射端的在某一頻率下的阻抗...

in amp 共模差模濾波

首先,確定兩蘋串聯電阻器的阻值,同時保證前面的電路可充分地驅動這個阻抗。這兩蘋電阻器的典型值在2k 和10k 之間,這兩蘋電阻器產生的雜訊不應當大於該儀表放大器本身的雜訊。採用一對2k 電阻器,詹森雜訊會增加 8nv hz1 2 採用4k 電阻器,會增加11nv hz1 2 採用10k 電阻器,會增...