Flink1 10從0到1 (五)Flink的HA

2021-10-07 20:34:03 字數 1438 閱讀 8837

預設情況下,每個 flink 集群只有乙個 jobmanager,這將導致單點故障(spof),如果這個 jobmanager 掛了,則不能提交新的任務,並且執行中的程式也會失敗。使用jobmanager ha,集群可以從 jobmanager 故障中恢復,從而避免單點故障。使用者可以在standalone 或 flink on yarn 集群模式下配置 flink 集群 ha(高可用性)。

standalone 模式下,jobmanager 的高可用性的基本思想是,任何時候都有乙個 alive jobmanager 和多個 standby jobmanager。standby jobmanager 可以在 alive jobmanager掛掉的情況下接管集群成為 alive jobmanager,這樣避免了單點故障,一旦某乙個 standby jobmanager 接管集群,程式就可以繼續執行。standby jobmanagers 和 alive jobmanager例項之間沒有明確區別,每個 jobmanager 都可以成為 alive 或 standby。

將所有 hadoop 節點的 yarn-site.xml 中的提交應用程式最大嘗試次數調大

重啟集群

配置對應的 conf 下的 flink-conf.yaml,配置內容如下:(主要配置以下5項)

1、啟動 yarn-session.sh 測試 ha: yarn-session.sh -n 2 ,也可以直接提交。job啟動之後,可以登入 yarn 中對應的 flink webui,如下圖示:

3、進入到yarn管理直接停止hadoop07 datanode節點

4、檢視jobmanager

當看到jobmanager.rpc.address 換節點後表示ha配置成功。

永遠要記得,成功的決心遠勝於任何東西。

讀書1 從0到1

總結你身邊是不是總有這樣的人,他特立獨行,有的時候厭煩規則,顯得與眾不同。如果有,請盯住他們,本書就以這類人為論述,作者對他們的迷戀堪稱瘋狂。最近看的一場電影 綠皮書 其中的唐雪莉和托尼就是這樣的人,托尼改掉歧視黑人的行為,甚至為黑人唐打工,而唐也與其他黑人格格不入,他特立獨行,不了解黑人 他是鋼琴...

需求從0到1

軟體是一種工具,是用來輔助人們解決某些問題的 相關的問題,組成問題領域 因此解決問題是軟體存在的價值,所以軟體的價值是符合某個問題領域的需求,從問題領域出發找構建軟體系統的重要性由此而得。充分了解問題領域,能夠幫助你理解需求 涉眾分析報告 通過以上大類,對專案範圍的社眾進行調查和訪談,書寫成涉眾報告...

《從0到1》雜感

從0到1 最近非常火,到處都在談論這本書。書中討論了很多問題,幾乎涵蓋了乙個初創企業要面對的方方面面。個人印象最深刻的,是書中對 壟斷企業 的描述。彼得.蒂爾給出了壟斷企業的四大特徵 專利技術 網路效應 規模經濟 品牌優勢。專利技術。專利技術是公司的核心優勢,很難被其他公司抄襲,最好領先行業平均水平...