知識點：
容錯機制
一、容錯機制：
master
選舉，replica
容錯，資料恢復
假設有9
個shard（3個primary+6個replica)， 3個node，
此時如果有乙個
master
node宕機，容錯機制如下：
就會有乙個primary丟失，在短時間內，status 是red,es會自動選取另乙個node成為新的master node。
新產生的
master
shard 會將丟失的primay shard 的某乙個replica shard 提公升為primary shard,此時cluster status 是yellow， 因為primary shard 全是active,但是少了部分replica shard，因此，不是所有的replica shard 全是active。
重啟宕機的
node
，新選舉的
master
會copy
丟失的replica
shard 到該
node
，使用原有的
shard
並同步宕機後的修改，此時cluster status變為
green。十
Spark Spark容錯機制
一般來說，分布式資料集的容錯性有兩種方式 資料檢查點和記錄資料的更新。面向大規模資料分析，資料檢查點操作成本很高，需要通過資料中心的網路連線在機器之間複製龐大的資料集，而網路頻寬往往比記憶體頻寬低得多，同時還需要消耗更多的儲存資源。因此，spark選擇記錄更新的方式。但是，如果更新粒度太細太多，那麼...
Spark容錯機制
一般來說，分布式資料集的容錯性有兩種方式 資料檢查點和記錄資料的更新。面向大規模資料分析，資料檢查點操作成本很高，需要通過資料中心的網路連線在機器之間複製龐大的資料集，而網路頻寬往往比記憶體頻寬低得多，同時還需要消耗更多的儲存資源。因此，spark選擇記錄更新的方式。但是，如果更新粒度太細太多，那麼...
Spark容錯機制
一般來說，分布式資料集的容錯性有兩種方式 資料檢查點和記錄資料的更新。面向大規模資料分析，資料檢查點操作成本很高，需要通過資料中心的網路連線在機器之間複製龐大的資料集，而網路頻寬往往比記憶體頻寬低得多，同時還需要消耗更多的儲存資源。因此，spark選擇記錄更新的方式。但是，如果更新粒度太細太多，那麼...