kafk集群配及簡單的運用

2021-10-02 06:51:17 字數 1349 閱讀 6743

server basics

broker.id=x (x必須是唯一的）

log basics

log.dirs=/kafka/log

zookeeper

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

分發（scp）

修改各個 從節點的 config目錄下的server.properties 檔案的broker.id.

啟動kafka服務

bin/kafka-server-start config/server.properties
檢測服務是否開啟了(檢視9092埠是否被占用了：

netstat -anop | grep  9092
建立乙個主題（topic test）

bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 -topic test
檢視topic主題

小運用kafkatest開啟乙個控制台的生產者（producer）

bin/kafka-console-producer --broker-list hadoop01:9092 --topic  test
開啟消費者（consumer）

bin/kafka-console-consumer.sh  --bootstrap-server hadoop01:9092 --topic  test --from-beginning
當producer控制 臺 產生資料 的話，consumer 端會自動消費的。

在搭建 kafka的時候要保障zk執行正常！

python scrapy安裝及簡單運用

本機環境是window10環境，直接在命令列安裝 安裝如果錯誤也可以參考 是否是你的錯誤 如果安裝成功，命令列最後會顯示 bilibili上面有很多教程 命令列輸入 scrapy startproject hanzida 進入到建立的爬蟲專案目錄下執行命令 hanyuspider是你的檔案名字，不要...

Keepalived 1 2 9集群的安裝及配置

keepalived 1.2.9集群的安裝及配置 說明 一 目 的 本文實現的linux集群是基於keepalived 1.2.9軟體實現，三 適用環境 當對外路由或交換機繫結主機mac時適用 1.環境及軟體 1 系統 debian6 amd64 2 核心 linux 3.2.0 0.bpo.4 a...

ELK集群安裝及簡單使用

192.168.1.105 es 2 elk 目錄 192.168.1.108 es 1 logstash kibana mydata elk 192.168.1.106 es 3 elk 一般我們需要進行日誌分析場景 直接在日誌檔案中 grep awk 就可以獲得自己想要的資訊。但在規模較大的場景...