zookeeper是乙個針對大型分布式系統的可靠協調系統。
1）它提供的功能包括：配置維護，名字服務，分布式同步，組服務等；
2）它的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的介面和效能高效，功能穩定的系統提供給使用者；
特點：1，最終一致性：為客戶端展示同一試圖
2，可靠性：如果一條訊息被一台伺服器接受，那麼它將被所有的伺服器接受。
3，實時性：zookeeper不能保證兩個客戶端同時得到剛剛更新的資料，如果需要最新資料，應該在讀資料之前呼叫sync()介面。
4，等待無關（wait-free）：慢的或者失效的client不干預快速的client的請求。
5，原子性：更新操作要麼成功，要麼失敗，沒有中間狀態。
6，順序性：對於所有server，同一訊息發布順序一致。
基本原理
server很多，有主從之分，不過有乙個leader,其他是follower,
每個server，在記憶體中存有乙份資料，啟動時，將選舉出乙個leader，根據poxos協議選舉
leader負責處理資料更新操作，用到zab協議
乙個更新操作成功的標誌，大多數server在記憶體，成功修改資料（乙個有5個，有3個寫成功了）
Hadoop核心元件之YARN
作業系統級別的排程框架，可以讓各種計算框架執行在上面 yarn 不同計算框架可以共享同乙個hdfs集群上的資料，享受整體的資源排程 on yarn的好處 與其他計算框架共享集群資源，按資源需要分配，進而提高集群資源的利用率 spark mapreduce storm flink 1 resource...
Hadoop框架最核心元件的設計
hdoop 一 hdfs hdfs是分布式計算的儲存基石，對於整個集群有單一的命名空間，具有資料一致性，適合一次寫入多次讀取的模型，客戶端在檔案沒有被成功建立之前是無法看到檔案存在的。檔案會被分割成多個檔案塊，每個檔案塊被分配儲存到資料節點上，而且會根據配置由複製檔案塊來保證資料的安全性。hdfs通...
（十四）Hadoop核心元件之Yarn的認識
yarn是乙個資源排程平台，負責為運算程式提供伺服器運算資源，相當於乙個分布式的作業系統平台，而mapreduce等運算程式則相當於執行於作業系統之上的應用程式。yarn並不清楚使用者提交的程式的執行機制 yarn只提供運算資源的排程 使用者程式向yarn申請資源，yarn就負責分配資源 yarn中...