Kafka使用筆記

2021-10-13 05:23:57 字數 1551 閱讀 1334

1.1定義

kafka 是乙個分布式的基於發布/訂閱模式的訊息佇列(message queue),主要應用於

大資料實時處理領域。

1.2 訊息佇列

1.2.1 傳統訊息佇列的應用場景

訊息佇列好處

1.2.2 訊息佇列兩種模式

1)點對點模式(一對一,消費者主動拉取資料,訊息收到後訊息清除)

2)2 )發布/ 訂閱模式(一對多,消費者消費資料之後不會清除訊息)

1.3 kafka基礎框架

2.1 部署安裝

2.2.1 集群規劃

1) 安裝版本kafka_2.11-0.11.0.0.tgz

2)解壓檔案 :

tar -zxvf kafka_2.11-0.11.tgz -c /usr/local/kafka
3)在/usr/local/kafka 目錄下建立 logs 資料夾

mkdir logs
4)修改配置檔案config/server.properties

#broker 的全域性唯一編號,不能重複

broker.id=0

#刪除 topic 功能使能

delete.topic.enable=true

#處理網路請求的執行緒數量

num.network.threads=3

#用來處理磁碟 io 的現成數量

num.io.threads=8

#傳送套接字的緩衝區大小

socket.send.buffer.bytes=102400

#接收套接字的緩衝區大小

socket.receive.buffer.bytes=102400

#請求套接字的緩衝區大小

socket.request.max.bytes=104857600

#kafka 執行日誌存放的路徑

log.dirs=/opt/module/kafka/logs

#topic 在當前 broker 上的分割槽個數

num.partitions=1

#用來恢復和清理 data 下資料的執行緒數量

num.recovery.threads.per.data.dir=1

#segment 檔案保留的最長時間,超時將被刪除

log.retention.hours=168

#配置連線 zookeeper 集群位址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

kafka使用筆記

1.安裝zookeeper bash 收藏 ticktime 2000 clientport 4180 引數說明 ticktime zookeeper中使用的基本時間單位,毫秒值.datadir 資料目錄.可以是任意目錄.datalogdir log目錄,同樣可以是任意目錄.如果沒有設定該引數,將使...

KafKa使用筆記

kafka使用筆記 快速開始 關閉防火牆 版本 kafka 2.12 1.0.0 tgz zookeeper集群 hdp1,hdp2,hdp3 kafka集群搭建 hdp1,hdp2,hdp3 一 配置檔案 在hdp1下 vim kafka 2.12 1.0.0 config server.prop...

kafka安裝使用筆記

kafka 2.11 2.0.0 root lijia1 config vi server.properties broker.id 0 advertised.listeners plaintext zhang 9092 log.dirs opt bigdata kafka211 kafka log...