概念:
kafka是一種訊息中介軟體
作用:解耦、冗餘、提高擴充套件性、緩衝
保證順序、靈活、削峰填谷
非同步通訊
kafla角色
producer: 生產者,負責發布訊息
consumer: 消費者,負責讀取處理訊息
topic: 訊息的類別
partition: 每個topic包含乙個或多個partition
broker: kafka集群包含乙個或復哦歌伺服器
** kafka通過zookeeper管理集群配置,選舉leader
原始碼安裝 /usr/local/kafka/config
修改配置檔案 vim server.properties
broker.id=22zookeeper.connect=node1:2181,node2:2181,node3:2181
拷貝 kafka 到其他主機,並修改 broker.id ,不能重複
rsync -ash --delete /usr/local/kafka node1:/usr/local/
啟動集群(所有節點)
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
驗證配置,傳件乙個topic
/usr/local/kafka/bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --zookeeper node3:2181 --topic aa
模擬生產者,發布訊息
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list node2:9092 --topic aa //寫乙個資料
模擬消費者,接收訊息
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic aa
Kafka分布式訊息系統
什麼是apache kafka?系統應用 使用者的活動資料 請求 資料 互動資料 執行維護資料如效能 監測 伺服器cpu 指標這些大量的資料都在無時無刻的產生,kafka 便是有著一套成熟的訊息處理方案的訊息系統,支援 高吞吐量的 分布式發布訂閱訊息 模式,它可以處理消費者規模的 中的所有動作流資料...
分布式訊息系統Kafka初步
在我們大量使用分布式資料庫 分布式計算集群的時候,是否會遇到這樣的一些問題 l 我想分析一下使用者行為 pageviews 以便我能設計出更好的廣告位 l 有些資料,我覺得存資料庫浪費,直接存硬碟又怕到時候操作效率低。這個時候,我們就可以用到分布式訊息系統了。雖然上面的描述更偏向於乙個日誌系統,但確...
分布式訊息系統Kafka初步
在我們大量使用分布式資料庫 分布式計算集群的時候,是否會遇到這樣的一些問題 l 我想分析一下使用者行為 pageviews 以便我能設計出更好的廣告位 l 有些資料,我覺得存資料庫浪費,直接存硬碟又怕到時候操作效率低。這個時候,我們就可以用到分布式訊息系統了。雖然上面的描述更偏向於乙個日誌系統,但確...