yahoo的pnuts的資料同步:
基於行的mastership;通過ymb(yahoo message broker)去以非同步方式同步那些replicas資料。首先,應用更新請求到達router,router根據key對映到某乙個storeunit,storeunit去向ymb傳送資料更新訊息,ymb做到安全儲存資料(可能是互備訊息),然後響應storeunit;這時候寫入資料,然後向router返回響應,然後向應用傳送響應。同步時機有ymb控制,估計最終一致時間差不會很大。
這裡比較有特色的是利用了ymb代替了undo,redo log去做資料的恢復和同步。,
amazon的dynamo的資料同步:
基於nwr模型去完成資料同步。n指系統的資料備份數目,w指寫的數目,r指讀的資料份數。要求w+r>n,即寫的分數要大於系統的備份份數-讀的份數。也就是每一次讀至少都會讀到乙個更新版本。這個缺點在於併發寫同一資料多時,版本衝突問題,dynamo通過vector clock去解決(大致可以採用返回版本有app自己設定解決,或者簡單的最後修改時間勝出)。
其他的資料同步方案有:
master/slave結構中的,寫master,然後通過log去同步slaves的資料。
master/master,寫乙個同步另乙個。
同時全寫(也就是同步寫方案)。
資料同步方案
作為業務系統的開發設計人員,資料及資料同步是非常重要的工作之一。在日常的軟體開發過程中,經常會碰到推送和拉取等業務。那麼一開始如何選用推送或拉取這兩個方案呢?這是由實際業務決定 雙方系統的技術實現 雙方系統的架構和效能,看日後是否此業務會經常修改等多方面決定的。下面本文就從實際的兩個業務情況來討論。...
資料同步方案
三 軟體選擇 同步分為 實時同步和離線同步 實時同步,一般是通過監控源資料變更操作,通過在目標端實時重放操作,從而達到實時同步的目的 離線同步,相當於某個時候對源資料做乙個快照。mysql自帶功能 一般針對的是整個資料庫 參考 主主同步 同步型別 實時同步 簡介 kafka是訊息中介軟體的一種 開發...
es同步mysql方案 ES資料同步方案
當業務量上公升後,由於mysql對全文檢索或模糊查詢支援的能力不強,在系統中查詢的地方,往往會出現慢sql等,拖累系統其他模組,造成效能低下。隨著es使用普及率的公升高,es是mysql的乙個有效補充。我們可以將資料傳送到搜尋引擎 如es 上,由搜尋引擎來提供專業的服務。接下來,就結合工作中實際用到...