訊息佇列中的若干訊息如果是對同乙個資料進行操作,這些操作具有前後的關係,必須要按前後的順序執行,否則就會造成資料異常。舉例:
比如通過mysql binlog進行兩個資料庫的資料同步,由於對資料庫的資料操作是具有順序性的,如果操作順序搞反,就會造成不可估量的錯誤。比如資料庫對一條資料依次進行了 插入->更新->刪除操作,這個順序必須是這樣,如果在同步過程中,訊息的順序變成了 刪除->插入->更新,那麼原本應該被刪除的資料,就沒有被刪除,造成資料的不一致問題。
(1)rabbitmq
①乙個queue,有多個consumer去消費,這樣就會造成順序的錯誤,consumer從mq裡面讀取資料是有序的,但是每個consumer的執行時間是不固定的,無法保證先讀到訊息的consumer一定先完成操作,這樣就會出現訊息並沒有按照順序執行,造成資料順序錯誤。
②乙個queue對應乙個consumer,但是consumer裡面進行了多執行緒消費,這樣也會造成訊息消費順序錯誤。
①kafka乙個topic,乙個partition,乙個consumer,但是consumer內部進行多執行緒消費,這樣資料也會出現順序錯亂問題。
②具有順序的資料寫入到了不同的partition裡面,不同的消費者去消費,但是每個consumer的執行時間是不固定的,無法保證先讀到訊息的consumer一定先完成操作,這樣就會出現訊息並沒有按照順序執行,造成資料順序錯誤。
①拆分多個queue,每個queue乙個consumer,就是多一些queue而已,確實是麻煩點;這樣也會造成吞吐量下降,可以在消費者內部採用多執行緒的方式取消費。
②或者就乙個queue但是對應乙個consumer,然後這個consumer內部用記憶體佇列做排隊,然後分發給底層不同的worker來處理
①確保同乙個訊息傳送到同乙個partition,乙個topic,乙個partition,乙個consumer,內部單執行緒消費。
②寫n個記憶體queue,然後n個執行緒分別消費乙個記憶體queue即可
關於MQ的幾件小事(三)如何保證訊息不重複消費
冪等 idempotent idempotence 是乙個數學與計算機學概念,常見於抽象代數中。在程式設計中乙個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函式,或冪等方法,是指可以使用相同引數重複執行,並能獲得相同結果的函式。這些函式不會影響系統狀態,也不用擔心重複執行會...
關於MQ的幾件小事(三)如何保證訊息不重複消費
冪等 idempotent idempotence 是乙個數學與計算機學概念,常見於抽象代數中。在程式設計中乙個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函式,或冪等方法,是指可以使用相同引數重複執行,並能獲得相同結果的函式。這些函式不會影響系統狀態,也不用擔心重複執行會...
關於MQ的幾件小事(三)如何保證訊息不重複消費
冪等 idempotent idempotence 是乙個數學與計算機學概念,常見於抽象代數中。在程式設計中乙個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函式,或冪等方法,是指可以使用相同引數重複執行,並能獲得相同結果的函式。這些函式不會影響系統狀態,也不用擔心重複執行會...