大資料學習筆記11 分布式環境下的強一致性若一致性

2021-09-02 21:44:21 字數 430 閱讀 7403

分布式環境下的強一致性若一致性

1、當前有三個機器 a、b、c 組成的集群。

這三個機器的資料會相互同步,修改任意乙個機器上的資料 ,都會同步到其他另外兩個機器上。

2、假如當前 三個機器上的 有x=0   。

當有 client a 修改了 機器a上的x=1後,a還沒有確認完成同步到b、c兩個機器上時。

a、b、c 上的x資料處於不一致的狀態。此時若允許 訪問 a、b、c上的x 就是弱一致性的。

弱一致性可能導致從不同的節點,讀取到不一致的資料。

若必須保證 同步完成之後 才允許訪問 a、b、c 中的x  ,這就是強一致性的 。

強一致性下 從各個節點 讀取的資料都是一致的 。

1 1分布式學習流程

由於本人最近在學習分布式,故把自己從hadoop nutch spark hive搭建過程做為筆記記錄下與大家學習交流 hadoop原本來自於谷歌一款名為mapreduce的程式設計模型包。hadoop最初只與網頁索引有關,開始的時候是 nutch 的乙個子專案,迅速發展成為分析大資料的領先平台。h...

分布式學習筆記(三) 分布式選舉

在乙個分布式集群中負責對其他節點的協調和管理,其他節點都必須聽從主節點的安排。主節點的存在,就可以保證其他節點的有序執行,以及資料庫集群中的寫入資料在每個節點上的一致性。這裡的一致性是指,資料在每個集群節點中都是一樣的,不存在不同的情況。選舉的作用就是選出乙個主節點,由它來協調和管理其他節點,以保證...

spark分布式環境搭建(2)分布式環境準備

ps 我已經複製好了 開啟三颱機器,它們的環境都是一樣的 是複製得到的集群 目標 修改三颱機器的hostname修改三颱機器的ip修改三颱機器的hosts三颱機器做免密登入 vim etc hostname 修改三颱機器的網路 vim etc sysconfig network scripts if...