Hadoop 兩種環境下的checkpoint機制

2022-07-15 09:45:14 字數 803 閱讀 6447

配置了ha的hdfs中,有active和standby namenode兩個namenode節點。他們的記憶體中儲存了一樣的集群元資料資訊,因為standby namenode已經將集群狀態儲存在記憶體中了,所以建立檢查點checkpoint的過程只需要從記憶體中生成新的fsimage。

詳細過程如下: (standby namenode=sbnn, activenamenode=ann)

1. sbnn檢視是否滿足建立檢查點的條件:

(1) 距離上次checkpoint的時間間隔 >= $

(2) edits中的事務條數達到$限制

這兩個條件任何乙個被滿足了,就觸發一次檢查點建立。

2. sbnn將記憶體中當前的狀態儲存成乙個新的檔案,命名為fsimage.ckpt_txid。其中txid是最後乙個edit中的最後一條事務的id(transaction

id)。然後為該fsimage檔案建立乙個md5檔案,並將fsimage檔案重新命名為fsimage_txid。

3. sbnn向active namenode傳送一條http get請求。請求中包含了sbnn的網域名稱,埠以及新fsimage的txid。

4. ann收到請求後,用獲取到的資訊反過來向sbnn再傳送一條http

get請求,獲取新的fsimage檔案。這個新的fsimage檔案傳輸到ann上後,也是先命名為fsimage.ckpt_txid,並為它建立乙個md5檔案。然後再改名為fsimage_txid。fsimage過程完成。

MVC和springboot兩種環境下使用AOP

aop是面向切面程式設計,適合把通用的物件行為整合在一起,寫成通知。本文通過兩個例子介紹mvc和springboot兩種環境下使用aop xmlns xsi xmlns context xmlns aop xsi schemalocation spring beans 3.1.xsd spring ...

hover在兩種情況下的兩種用法

hover在滑鼠移到鏈結上時新增的特殊樣式。注意 為了產生預期的效果,在 css 定義中,hover 必須位於 link 和 visited 之後!前兩天遇到乙個關於 hover的問題,困惑了好久 這裡我們舉個例子看一下 hover在兩種情況下的兩種用法 先說一下,下面的 想實現的效果 當滑鼠放在 ...

hadoop 2 0 中的兩種RPC詳解

hadoop 2.0中存在兩個ipc包,分別為hadoop rpc和新的yarnrpc,本文簡要描述了兩種rpc.hadoop 2.0中存在兩個ipc包,分別在hadoop common和hadoop yarncommon專案下.分別為hadoop rpc和新的yarnrpc.1.使用hadoop ...