Storm中的可靠性

storm中的可靠性

storm的ispout介面定義了三個與可靠性有關的方法：nexttuple,ack和fail。


public inte***ce ispout extends serializable

我們知道，當storm的spout發射乙個tuple後，他便會呼叫nexttuple()方法，在這個過程中，保證可靠性處理的第一步就是為發射出的tuple分配乙個唯一的id，並把這個id傳給emit()方法：

collector.emit( new values("value1" , "value2") , msgid );

為tuple分配乙個唯一id的目的就是為了告訴storm，spout希望這個tuple產生的tuple tree在處理完成或失敗後告知它，如果tuple被處理成功，spout的ack()方法就會被呼叫，相反如果處理失敗，spout的fail()方法就會被呼叫，tuple的id也都會傳入這兩個方法中。

需要注意的是，雖然spout有可靠性機制，但這個機制是否啟用由我們控制的。ibasicbolt在emit乙個tuple後自動呼叫ack()方法，用來實現比較簡單的計算。如果是irichbolt的話，如果想要實現anchor，必須自己呼叫ack方法。

storm的可靠性是由spout和bolt共同決定的，storm利用了anchor機制來保證處理的可靠性。如果spout發射的乙個tuple被完全處理，那麼spout的ack方法即會被呼叫，如果失敗，則其fail方法便會被呼叫。在bolt中，通過在emit(oldtuple,newtuple)的方式來anchor乙個tuple，如果處理成功，則需要呼叫bolt的ack方法，如果失敗，則呼叫其fail方法。乙個tuple及其子tuple共同構成了乙個tupletree，當這個tree中所有tuple在指定時間內都完成時spout的ack才會被呼叫，但是當tree中任何乙個tuple失敗時，spout的fail方法則會被呼叫。

ibasicbolt類會自動呼叫ack/fail方法，而irichbolt則需要我們手動呼叫ack/fail方法。我們可以通過topology_message_timeout_secs引數來指定乙個tuple的處理完成時間，若這個時間未被處理完成，則spout也會呼叫fail方法。

乙個實現可靠性的spout：


public class reliablesentencespout extends baserichspout ;
private int index = 0;
public void declareoutputfields(outputfieldsdeclarer declarer) 
public void open( map config, topologycontext context, spoutoutputcollector collector) 
public void nexttuple() 
}public void ack(object msgid) 
public void fail(object msgid) 
}

例子2：

乙個實現可靠性的bolt：


public class reliablesplitsentencebolt extends baserichbolt 
public void execute(tuple tuple) 
this. collector.ack(tuple);
}public void declareoutputfields(outputfieldsdeclarer declarer) 
}

Storm中的可靠性

Storm的可靠性與ack機制

xor演算法在storm可靠性中的應用

可靠性測試學習可靠性測試理解

Storm中的可靠性

Storm的可靠性與ack機制

xor演算法在storm可靠性中的應用

可靠性測試學習 可靠性測試理解

相關推薦

可靠性測試學習可靠性測試理解