在我們寫完flink程式並部署伺服器上後,我們希望程式會一直執行下去。但總會有很多情況會導致全部或部分任務出現異常而導致程式中止,這個時候就希望任務能夠自動處理這些異常情況。
在flink中提供了4種重啟策略,這裡簡單記錄一下。
一、固定延遲重啟策略
固定延遲重新啟動策略嘗試給定次數重新啟動作業。如果超過最大嘗試次數,則該作業最終將失敗。在兩次連續的重新啟動嘗試之間,重新啟動策略將等待固定的時間。
通過在中設定以下配置引數,預設啟用此策略flink-conf.yaml。
restart-strategy: fixed-delay
key
預設說明
restart-strategy.fixed-delay.attempts
1重試次數,整數
restart-strategy.fixed-delay.delay
1s延遲時間,如:10s
例如:
restart-strategy.fixed-delay.attempts: 3
restart-strategy.fixed-delay.delay: 10 s
程式設計設定:
val env = executionenvironment.getexecutionenvironment()
env.setrestartstrategy(restartstrategies.fixeddelayrestart(
3, // number of restart attempts
time.of(10, timeuni
Flink03 Flink中怎麼提交任務
1.flink web ui 下面詳細介紹 2.命令列 在flink安裝的根目錄下執行 bin flink run c 包名.主類名 p 並行度引數 jar包路徑 程式引數測試例子 bin flink run c com.scau.zcw.streamwordcount p 3 opt jarhom...
hive on tez 任務失敗
最近再hue 集群查詢任務經常失敗,經過幾天的觀察,終於找到原因,報錯如下 分析 taskid task 1514128895713 0770 1 00 000006 失敗了幾次,失敗的原因是container被高優先順序的任務搶占了。而task最大的失敗次數預設是4.當集群上的任務比較多時,比較容...
Ansible 處理失敗的任務
1 管理play中任務錯誤 1 ansible評估任務的返回 從而確定任務是成功還是失敗 2 通常而言,當任務失敗時,ansible將立即在該主機上中止play的其餘部分並且跳過所有後續任務,但有些時候,可能希望即使在任務失敗時也繼續執行play 2 忽略任務失敗 1 預設情況下,任務失敗時play...