rdd不同的依賴關係（寬依賴、窄依賴）是spark rdd有不同的容錯處理方式；對spark框架層面容錯機制的三大層面（排程層、rdd血統層、checkpoint層）和spark rdd容錯四大核心要點。
1、spark rdd容錯原理
rdd的不同依賴關係導致spark對不同的依賴關係有不同的處理方式。
對於寬依賴實質是指乙個父rdd的分割槽會對應乙個或多個子rdd多個分割槽，在此情況下，如果出現部分計算結果丟失，單一計算丟失的資料無法達到效果，便採用計算該步驟的所有資料，從而導致計算資料重複。
對於窄依賴而言，由於窄依賴的乙個rdd 分割槽最多對應乙個子rdd 分割槽，在此情況下出現計算結果丟失，由於計算結果只依賴父rdd相關資料有關，所以不需要計算全部資料，只需計算部分資料即可。
2、rdd容錯四大要點：
spark框架層面的容錯機制，主要是三大層面（排程層、rdd lineage、checkpoint層）。
四大核心要點：
a、stage資料失敗，高層dagscheduler重試
b、spark計算中，task內部失敗，底層排程器重試。
c、rdd lineage中的寬依賴、窄依賴計算。
d、checkpoint快取。
mysql 容錯處理 詞典及容錯處理
在前面幾篇文章中都是在講倒排索引的結構,及合併優化方法.這篇博文裡更多談下怎麼根據輸輸入查詢引數來定位到倒排記錄表的指標.其實這跟mysql中對varchar型別加索引後,然後基於該欄位查詢的原理一樣,都是可以基於b tree的經典資料結構來快速定位.mysql中基於記憶體表還可以用hash索引,同...
詞典及容錯處理
在前面幾篇文章中都是在講倒排索引的結構,及合併優化方法.這篇博文裡更多談下怎麼根據輸輸入查詢引數來定位到倒排記錄表的指標.其實這跟mysql中對varchar型別加索引後,然後基於該欄位查詢的原理一樣,都是可以基於b tree的經典資料結構來快速定位.mysql中基於記憶體表還可以用hash索引,同...
ORACLE 過程中容錯處理
1 基本結構 begin 語句 exception 例外處理 when when others end 2 常用預定義例外 exception when cursor already open then ora 06511 sqlcode 6511 游標已經開啟 when dup val on in...