Kafka集群 分布式訊息系統

2022-06-17 05:30:19 字數 1141 閱讀 3024

概念:

kafka是一種訊息中介軟體

作用:解耦、冗餘、提高擴充套件性、緩衝

保證順序、靈活、削峰填谷

非同步通訊

kafla角色

producer:   生產者,負責發布訊息

consumer:  消費者,負責讀取處理訊息

topic:     訊息的類別

partition:   每個topic包含乙個或多個partition

broker:    kafka集群包含乙個或復哦歌伺服器

** kafka通過zookeeper管理集群配置,選舉leader

原始碼安裝  /usr/local/kafka/config

修改配置檔案 vim server.properties

broker.id=22

zookeeper.connect=node1:2181,node2:2181,node3:2181

拷貝 kafka 到其他主機,並修改 broker.id ,不能重複

rsync -ash --delete /usr/local/kafka node1:/usr/local/

啟動集群(所有節點)

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

驗證配置,傳件乙個topic

/usr/local/kafka/bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --zookeeper node3:2181 --topic aa

模擬生產者,發布訊息

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list node2:9092 --topic aa        //

寫乙個資料

模擬消費者,接收訊息

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic aa

Kafka分布式訊息系統

什麼是apache kafka?系統應用 使用者的活動資料 請求 資料 互動資料 執行維護資料如效能 監測 伺服器cpu 指標這些大量的資料都在無時無刻的產生,kafka 便是有著一套成熟的訊息處理方案的訊息系統,支援 高吞吐量的 分布式發布訂閱訊息 模式,它可以處理消費者規模的 中的所有動作流資料...

分布式訊息系統Kafka初步

在我們大量使用分布式資料庫 分布式計算集群的時候,是否會遇到這樣的一些問題 l 我想分析一下使用者行為 pageviews 以便我能設計出更好的廣告位 l 有些資料,我覺得存資料庫浪費,直接存硬碟又怕到時候操作效率低。這個時候,我們就可以用到分布式訊息系統了。雖然上面的描述更偏向於乙個日誌系統,但確...

分布式訊息系統Kafka初步

在我們大量使用分布式資料庫 分布式計算集群的時候,是否會遇到這樣的一些問題 l 我想分析一下使用者行為 pageviews 以便我能設計出更好的廣告位 l 有些資料,我覺得存資料庫浪費,直接存硬碟又怕到時候操作效率低。這個時候,我們就可以用到分布式訊息系統了。雖然上面的描述更偏向於乙個日誌系統,但確...