kafka集群搭建：
1、搭建
2、配置檔案介紹
軟體環境：linux ，需要有zookeeper集群， 版本選擇0.8.1 ，kafka_原始碼包
配置檔案：
server.properties
(不推薦使用預設的zookeeper)
broker.id=0 例項id 集群中的唯一標示
prot=9092
host.name=2.2.2.2 (把配置的話 ，會進行dns解析，會產生檔案控制代碼數洩露，導致故障)
message.max.byte=5m 每條訊息最大5m
log.dirs=dir1,dir2 訊息
default.replication.factor=2 預設副本數
replica.fethc.max.bytes=5m
zookeeper.connect=1.1.1.1:2188，1.1.1.2:2188,1.1.1.3:2188 （zookeeper集群）
log.retention.hours=168 預設儲存7天。
log.segment.bytes=111111111 檔案大小
log.cleaner.enable=false log壓縮功能
consumer.properties
group.id=test1group
producer.properties
producer.type=sync 同步 傳送方式
compression.codec 壓縮方式
日誌：server.log 執行日誌
controler.log 控制機器日誌
啟動：kafka-server-start.sh -daemon .../config/server.properties
以後臺程序方式啟動
建立乙個topic：
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic test
檢視topic：
./kafka-topic.sh --list --zookeeper localhost:2181
啟動comsumer.sh程式 (訊息訂閱)
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
啟動producer程式 (訊息傳送)
./kafka-console-producer.sh --broker-list 2.2.2.2:9092 --topic test
Kafka學習記錄
kafka適合什麼樣的場景?它可以用於兩大類別的應用 構造實時流資料管道，它可以在系統或應用之間可靠地獲取資料。相當於message queue 構建實時流式應用程式，對這些流資料進行轉換或者影響。就是流處理，通過kafka stream topic和topic之間內部進行變化 以下是一些基本的概念...
kafka學習記錄 1 為什麼學習kafka
2019.10.04 學習記錄1 極客時間 kafka核心技術與實戰 一 為什麼學習kafka 就拿資料量激增來說，kafka能夠有效隔離上下游業務，將上游突增的流量快取起來，以平滑的方式傳導到下游子系統中，避免了流量的不規則衝擊。apache kafka是一款開源的訊息引擎系統。訊息傳遞 官方 訊...
Kafka試用記錄
為了初步了解kafka功能和效能，通過實驗簡單試用。1 kafka 2.9.1 0.8.2.1演示 zookeeper server 192.168.1.66 2181 kafka server 192.168.1.66 9092 kafka consumer 192.168.1.55 wget t...