訊息佇列的兩種模式:
點對點模式:一對一,訊息只能給乙個人,比較單一。
明顯感覺到點對點的模式缺點:就是不可復用,加入這個訊息需要給多個人處理,就會很麻煩,flume可以給多個,但是需要多個channel和多個sink
點對點模式如果要復用,就必須發給多個訊息佇列,然後消費者再去接收。浪費資源。
這裡強調一下:kafka是發布/訂閱模式中的消費者主動拉取的方式。
kafka用的廣泛這個也是個原因。
發布訂閱的好處相對點對點最直觀的好處就是,訊息可以直接發給多個消費者使用。
又是基於消費者主動拉取資料的方式,所以還有乙個好處就是消費者消費的資料由自己決定。
但是消費者主動拉取資料的缺點就是:費效能
消費者想要主動獲取資料,就要不斷的向mq中去問,當mq長時間沒有新訊息的時候,這個時候消費者還必須去隔一段時間問他是否由新訊息。這就造成了浪費資源,消耗效能。
總結:kafka是發布訂閱模式裡面的:消費者主動從mq拉取資料的模式。。。
Kafka入門(2) 消費與位移
在這篇文章中,我將從訊息在kafka中的物理儲存方式講起,介紹分割槽 日誌段 日誌的各個層次。根據消費者的消費可能引發的問題,我將介紹kafka中的位移主題,以及消費者要怎麼提交位移到這個位移主題中。最後,我將聊一聊消費者rebalance的原因,以及不足之處。我們那個時候所表達的意思是,訊息的生產...
任務1 01 Kafka入門 課程介紹
kafka的本質是乙個mq訊息佇列。kafka應用面比較廣,是乙個中介軟體 a和b系統需要通訊,不會直接連線,中間有個中介軟體進行對接。kafka比flume複雜一點。kafka需要搭建集群,但是flume不需要 其次,kafka需要依賴zk,flume不需要。什麼是訊息佇列?kafka是做什麼的?...
任務3 03 Kafka入門 訊息佇列
非同步 約定時間,兩天後再來取,我自己做我自己的事情,不耽誤。使用訊息佇列的好處 1 解耦。關鍵好處 2 可恢復性。系統一部分失效之後,不會影響到整個系統。3 緩衝。主要解決生產大於消費的問題。使用者比較少,伺服器是乙個1000臺的集群,這時候就不需要訊息佇列了,直連也可以解決。如果使用者很多,每天...