Zookeeper Paxos演算法 一致性協議

2021-08-19 21:44:17 字數 2759 閱讀 7783

paxos 一致性協議可以說是一致性協議研究的起點,也以難以理解聞名。其實協議本身並沒有多難理解,它的難理解性主要體現在:為何如此設計協議以及如何證明其正確性。本文嘗試通過流程圖來說明協議的內容以及基本應用過程,不涉及如何證明其正確性。

paxos 可以分為兩種:

本文只關注單 paxos 的原理,理解了單 paxos,多 paxos 也就不難理解了。

在協議中,每個節點可以同時扮演以上多個角色。

通過上面的流程,如果有多個節點同時提出各自的提議,paxos 就可以保證從中選出乙個唯一確定的值,保證分布式系統的一致性。

下面我們通過例子來理解 paxos 的實際應用過程。

假設現在有五個節點的分布式系統,此時 a 節點打算提議 x 值,e 節點打算提議 y 值,其他節點沒有提議。

假設現在 a 節點廣播它的提議(也會傳送給自己),由於網路延遲的原因,只有 a,b,c 節點收到了。注意即使 a,e 節點的提議同時到達某個節點,它也必然有個先後處理的順序,這裡的「同時」不是真正意義上的「同時」。

a,b,c接收提議之後,由於這是第乙個它們接收到的提議,acceptedproposal 和 acceptedvalue 都為空。

由於 a 節點已經收到超半數的節點響應,且返回的acceptedvalue 都為空,也就是說它可以用 x 作為提議的值來發生 accept 請求,a,b,c接收到請求之後,將 acceptedvalue 更新為 x。

a,b,c 會發生 minproposal 給 a,a 檢查發現沒有大於 1 的 minproposal 出現,此時 x 已經被選中。等等,我們是不是忘了d,e節點?它們的 acceptedvalue 並不是 x,系統還處於不一致狀態。至此,paxos 過程還沒有結束,我們繼續看。

此時 e 節點擊擇 proposal id 為 2 傳送 prepare 請求,結果就和上面不一樣了,因為 c 節點已經接受了 a 節點的提議,它不會三心二意,所以就告訴 e 節點它的選擇,e 節點也很紳士,既然 c 選擇了 a 的提議,那我也選它吧。於是,e 發起 accept 請求,使用 x 作為提議值,至此,整個分布式系統達成了一致,大家都選擇了 x。

以上內容均引用自:

感謝作者畫**說如上的paxos演算法

原設計師的最先設計方案:

上圖的**,缺了一部分同步的操作,當然不是作者畫錯了,而是我們的分布式發現服務的問題,當乙個節點不可用,那麼發起議案的時候,節點不可用,那麼提交議案成功後,也不會去再同步此節點,因為不可用。

下圖將解說交叉分布式同步問題,下圖將採用的另乙個收費課程的**:更複雜!!!!

模擬場景:戰略會議       交叉分布式事務

制定作戰計畫,兩位作戰計畫的制定者,分別制定乙個計畫,上面的進攻時間改為進攻目標更妥當

三位將軍作為計畫的執行者。

開始:1:參謀1  制定作戰目標成功,傳送給三個將軍。但是將軍3與他有意見,拒絕他的意見,此時的將軍1,將軍2,覺得作戰目標可行。同意

2:在參謀1還沒做表決的時候,參謀2,將作戰目標做完,分別發給三位將軍,這時將軍1跟參謀2有意見,不接受他的作戰目標。其他兩個將軍覺得作戰目標可行,同意

3:這是參謀1 舉行表決,超過半數即可行。將軍2 將軍1 做表決,但是將軍2接受了新的作戰計畫,此時不再能執行作戰計畫1了,所以參謀一的作戰計畫未通過

4:此時參謀2開始做作戰計畫的表決,因為將軍2 將軍3 同意,因此此計畫通過。這時其實意味這分布式事務的成功,資料一致性處理成功

5:此時參謀1 又做了乙個作戰計畫,3 發給將軍1,將軍2,此時將軍1,2返回他們手裡的作戰計畫,看是否領先作戰計畫3。

6:參謀1發現將軍1,將軍2 的作戰計畫已執行,可以表決自己的作戰計畫,則提交表決

7:將軍1 將軍2 表決通過參謀1的作戰計畫3

哈哈,懵了沒有,其實這模擬的是:

如**交易,同一時間兩個會員購買同乙個商品 第乙個會員需要去修改**的分布式系統的商品剩餘數量,此時第二位會員同時間消費的會員也要來修改資料。時間在0.00毫秒間產生。交叉型的分布式事務處理出現在超大型併發系統中。這時兩個會員會出現爭奪誰先去修改庫存的操作。

看得懂的行家可能會說,在參謀2提交計畫成功的時候,參謀1又提交議案,就造成了死鎖了。paxos演算法在提交失敗後,睡眠1毫秒參謀2的提議就表決通過了。當然演算法內還有更深層次的實現,無法得知:,目前 google facebook ibm 都有自己的演算法實現,可是都沒有公開原始碼,zookeeper的實現原始碼好像說也很晦澀。但是演算法內部用佇列或者一些簡單的類似mq處理機制就可以避免上面這種彼此死鎖的方式。

KNN,TC text category 基本演算法

knn分類演算法 knn分類演算法是一種傳統的基於統計的模式識別方法。演算法思想很簡單 對於一篇待分類文件,系統在訓練集中找到k個最相近的鄰居,使用這k個鄰居的類別為該文件的候選類別。該文件與k個鄰居之間的相似度按類別分別求和,減去乙個預先得到的截尾閾值,就得到該文件的類別測度。用knn也表示所選k...

日常練習 算

問題背景 zhx幫他妹子做數學題。問題描述 求 如 n 3,m 3,這個值為1 1 1 2 1 3 2 1 2 2 2 3 3 1 3 2 3 3 56。輸入格式 僅一行,包含兩個數 n和 m.輸出格式 僅一行,包含所求的答案 mod10 9 7的值。樣例輸入 3 3 樣例輸出 資料範圍與規定 對於...

遞迴算年齡

問題描述1 第1個人10歲,第2個人比第乙個人大3歲,第3個人比第2個人大3歲 第8個人比第7個人大3歲,那麼第8個人是多少歲?public class getage 測試 public static void main string args 問題描述2 第8個人的年齡是36歲,第7個人比第8個人...