簡單來說kafka就是乙個分布式的訊息系統,由scala語言編寫,初始**七千多行左右
1、producer:訊息生產者;
2、consumer:訊息消費者;
3、consumer group:消費者組;
4、broker:kafka集群的節點,起到快取的作用;
5、topic:資料的不同分類,類似於關係型資料庫中的表;
6、partition:topic分組,乙個topic可以分為多個partition(調優)
7、message:即資料,通訊的基本單位
類似於qq聊天
1、訂閱模式:即一對多(群聊),簡單記為ps(publish-subscribe)模式;
2、點對點模式:即一對一(私聊),記為p2p(point-to-point)模式;
注:p2p模式的時候,當乙個消費者消費了之後,其他消費者就不能再消費了
kafka集群搭建 分類
hadoop01
hadoop02
hadoop03
zookeeper是是
是broker是是
是---
-kafka.apach.org
0.8.2.2
kafka 簡單入門
乙個副本乙個分割槽 通過選項create建立mytest的topic,副本數為1 分割槽數為1 binsh kafka topics.sh create zookeeper 192.168.10.151 2181 replication factor1 partitions1 topic mytes...
kafka簡單介紹
參考資料 kafka 是乙個訊息系統,原本開發自 linkedin,用作 linkedin 的活動流 activity stream 和運營資料處理管道 pipeline 的基礎 使用kafka的優勢 實現了解耦合 broker kafka 集群包含乙個或多個伺服器,這種伺服器被稱為 broker。...
KAFKA簡單操作
1.建立乙個topic,3個分割槽和兩個副本 redis node1 kafka 2.12 2.2.0 bin kafka topics.sh create zookeeper node1 2181 replication factor 2 partitions 3 topic test 2.檢視t...