企業中離線業務場景實時業務場景都需要使用到kafka
kafka具備資料的計算能力和儲存能力,但是兩個能力相對(mr/spark,hdfs)較弱.
kafka角色的角色與hbase比較像,層級關係比較多。
訊息:應用之間傳送的資料,或點與點之間,點與多點之間傳遞的資料,傳遞的資訊。
訊息佇列:是一種應用間的通訊方式以佇列的形式傳遞。
訊息佇列的應用場景
應用解耦合:多應用間通過訊息佇列對同一訊息進行處理
非同步處理:多應用對訊息佇列中同一訊息進行處理
限流削峰:用於秒殺或搶購活動中,避免流量過大導致應用系統掛掉的情況;
訊息驅動的系統:有前面訊息傳遞到後,後面的才會觸發動作。
在學習mr時做的遊戲,後面的同學在沒有接收到前面同學的資訊之前是不允許操作的,這個就是訊息系統。
訊息系統的方式
1、點對點的方式
訊息佇列
傳送者 (生產者):生產資料的程式/人/物件
接收者(消費者):處理佇列內的資料的程式/人/物件
每個訊息只有乙個接收者,傳送者和接收者間沒有依賴性,接收者在成功接收訊息之後需向佇列應答成功。
2、發布-訂閱的方式
角色主題(topic):訊息得分類,分組(王者榮耀,qq飛車)
發布者(publisher):生產者
訂閱者(subscriber):消費者
每個訊息可以有多個訂閱者,發布者和訂閱者之間有時間上的依賴性,訂閱者需要提前訂閱該角色主題。
kafka
:是乙個分布式的(可以多節點),分割槽的,多副本的,多訂閱者的訊息發布訂閱系統。
kafka對訊息分類使用topic
生產者:producer
消費者:consumer
伺服器:broker
Kafka 基本介紹
源自小夥伴的分享,我本身也不會使用這個東西,但是通過她的介紹,對kafka有乙個簡單的了解,基於此做乙個整理。1.什麼是kafka?kafka是乙個分布式 分割槽的 多副本的 多訂閱者,基於zookeeper協調的分布式日誌系統 也可以當做mq系統 常見可以用於web nginx日誌 訪問日誌,訊息...
Kafka基本概念介紹
kafka官方介紹 kafka是乙個分布式的流處理平台 0.10.x版本 在kafka0.8.x版本的時候,kafka主要是作為乙個分布式的 可分割槽的 具有副本數的日誌服務系統 kafka is adistributed,partitioned,replicatedcommit log servi...
(01)kafka以及訊息系統的基本介紹
1 kafka簡介 apache kafka是分布式發布 訂閱訊息系統。它最初由linkedin公司開發,用作linkedin的活動流 activity stream 和運營資料處理管道 pipeline 的基礎。之後貢獻給apache 會成為apache的乙個頂級專案。kafka是一種快速 可擴充...