kafka 的有序與無序

2021-09-19 19:29:50 字數 1112 閱讀 2762

同時建立kafka生產者produce,kafka消費者consumer,其中我們的topic建立了3個分割槽,

生產者傳送幾條資料,使用命令檢視消費。

可以看到剛剛生產的這幾條資料,當我退出消費命令,重新使用消費者命令來消費資料時,看一下資料

這時候看到的資料時無序的,總結一點

單個分割槽:有序

全域性分割槽:無序

1 4肯定是同乙個分割槽的資料,如何保證生產環境下,全域性有序呢,先說下必須要保持有序的需求情況,

有一張students表,對錶操作的訊息傳送到kafka中,但是操控表有增加有刪除的時候,必須增加先執行

完,才去刪除,如果先執行刪除了,在insert增加就是錯誤的了。如下,傳送幾條執行sql的命令到kafak,

insert  into student value(1,'json',18);

insert  into student value (2,'jinfei',20) ;

update student set name='jf' where id=2 ;

delete from student where id=2 ;

照上面所說,kafka消費有可能順序如下

分割槽1:

insert  into student value(1,'json',18);

delete from student where id=2 ;

分割槽2:

insert  into student value (2,'jinfei',20) ;

分割槽3:

update student set name='jf' where id=2 ;

這樣的話就會造成錯誤,解決問題核心點:特徵資料傳送到同乙個topic的乙個分割槽,

針對id=2的拼裝特徵資料key :  student_id=2             kafka缺省會hash(student_id=2) 取模

value:   sql語句

kafka 的有序與無序

同時建立kafka生產者produce,kafka消費者consumer,其中我們的topic建立了3個分割槽,生產者傳送幾條資料,使用命令檢視消費。可以看到剛剛生產的這幾條資料,當我退出消費命令,重新使用消費者命令來消費資料時,看一下資料 這時候看到的資料時無序的,總結一點 單個分割槽 有序 全域...

外觀模式 有序?無序?

上週七期的師哥師姐在給我們講課的時候,關於外觀模式這裡引起來很激烈的討論,回頭想了想,把我的思路寫在這裡,大家可以看一看 關於在 大話設計模式 裡面外觀模式是這樣定義的 為子系統中的一組介面提供乙個一致的介面,此模式定義了乙個高層介面,這個介面使得這一子系統更加容易使用。下面是外觀模式的結構圖 關鍵...

HTML列表有序無序的轉變

html 支援有序 無序和定義列表 第乙個列表項 第二個列表項 第三個列表項 無序列表 本例演示無序列表。有序列表 本例演示有序列表。可以在本頁底端找到更多例項。無序列表是乙個專案的列表,此列專案使用粗體圓點 典型的小黑圓圈 進行標記。無序列表使用 瀏覽器顯示如下 同樣,有序列表也是一列專案,列表專...