Storm ack和fail機制再論

2021-09-06 16:28:12 字數 1249 閱讀 9163

之前對這個的理解有些問題,今天用到有仔細梳理了一遍,記錄一下

首先開啟storm tracker機制的前提是,

1. 在spout emit tuple的時候,要加上第3個引數messageid

2. 在配置中acker數目至少為1

3. 在bolt emit的時候,要加上第二個引數anchor tuple,以保持tracker鏈路

流程,1. 當tuple具有messageid時,spout會把該tuple加到pending list裡面

併發訊息給acker,通知acker開始tracker這條tuple

2. 然後再後續的bolt的處理邏輯中,你必須顯式的ack或fail所有處理的tuple

如果這條tuple在整個dag圖上都成功執行了,那麼acker會發現該tuple的track異或值為0

於是acker會發ack_message給spout

當然如果在dag圖上任意乙個節點bolt上fail,那麼acker會認為該tuple fail

於是acker會發fail_message給spout

3. 當spout收到ack或fail message如何處理,

首先是從pending list裡面刪掉這條tuple,因為無論ack或fail,只要得到結果,這條tuple就沒有繼續被cache的必要了

然後做的事是呼叫spout.ack或spout.fail

所以系統預設是不會做任何事的,甚至是fail後的重發,你也需要在fail裡面自己實現

如何實現後面看

4. 如果一條tuple沒有被ack或fail,最終是會超時的

spout會根據system tick去rotate pending list,對於每個過時的tuple,都呼叫spout.fail

下面的問題就是如何做fail重發,

這個必須使用者通過自己處理fail來做,系統是不會自己做的,

public

void fail(object msgid)

看看系統提供的介面,只有msgid這個引數,這裡的設計不合理,其實在系統裡是有cache整個msg的,只給使用者乙個messageid,使用者如何取得原來的msg

貌似需要自己cache,然後用這個msgid去查詢,太坑爹了

阿里自己的jstorm會提供

public

inte***ce ifailvaluespout

這樣更合理一些, 可以直接取得系統cache的msg values

Storm ack和fail機制再論

之前對這個的理解有些問題,今天用到有仔細梳理了一遍,記錄一下 首先開啟storm tracker機制的前提是,1.在spout emit tuple的時候,要加上第3個引數messageid 2.在配置中acker數目至少為1 3.在bolt emit的時候,要加上第二個引數anchor tuple...

Storm ack和fail機制再論《轉》

之前對這個的理解有些問題,今天用到有仔細梳理了一遍,記錄一下 首先開啟storm tracker機制的前提是,1.在spout emit tuple的時候,要加上第3個引數messageid 2.在配置中acker數目至少為1 3.在bolt emit的時候,要加上第二個引數anchor tuple...

通知機制和KVO機制

在cocoa touch框架中,觀察者模式的具體應用有兩個,即通知機制和kvo key value observing 模式機制。通知機制 通知機制與委託機制不同的是,通知是一對多的物件之間的通訊,而委託則是一對一物件之間的通訊。歸納一下通知主要有廣播通知 broadcast notificatio...