Hadoop namenode重新格式化需注意問題

2021-09-02 07:37:33 字數 961 閱讀 1923

原文:

1、重新格式化意味著集群的資料會被全部刪除,格式化前需考慮資料備份或轉移問題;

2、先刪除主節點(即namenode節點),hadoop的臨時儲存目錄tmp、namenode儲存永久性元資料目錄dfs/name、hadoop系統日誌檔案目錄log 中的內容 (注意是刪除目錄下的內容不是目錄);

3、刪除所有資料節點(即datanode節點) ,hadoop的臨時儲存目錄tmp、namenode儲存永久性元資料目錄dfs/name、hadoop系統日誌檔案目錄log 中的內容;

4、格式化乙個新的分布式檔案系統:

hadoop namenode -format

注意(1)hadoop的臨時儲存目錄tmp(即core-site.xml配置檔案中的hadoop.tmp.dir屬性,預設值是/tmp/hadoop-$),如果沒有配置hadoop.tmp.dir屬性,那麼hadoop格式化時將會在/tmp目錄下建立乙個目錄,例如在cloud使用者下安裝配置hadoop,那麼hadoop的臨時儲存目錄就位於/tmp/hadoop-cloud目錄下

(2)hadoop的namenode元資料目錄(即hdfs-site.xml配置檔案中的dfs.namenode.name.dir屬性,預設值是$/dfs/name),同樣如果沒有配置該屬性,那麼hadoop在格式化時將自行建立。必須注意的是在格式化前必須清楚所有子節點(即datanode節點)dfs/name下的內容,否則在啟動hadoop時子節點的守護程序會啟動失敗。這是由於,每一次format主節點namenode,dfs/name/current目錄下的version檔案會產生新的clusterid、namespaceid。但是如果子節點的dfs/name/current仍存在,hadoop格式化時就不會重建該目錄,因此形成子節點的clusterid、namespaceid與主節點(即namenode節點)的clusterid、namespaceid不一致。最終導致hadoop啟動失敗。

Hadoop namenode無法啟動

最近遇到了乙個問題,執行start all.sh的時候發現jps一下namenode沒有啟動 每次開機都得重新格式化一下namenode才可以 其實問題就出在tmp檔案,預設的tmp檔案每次重新開機會被清空,與此同時namenode的格式化資訊就會丟失 於是我們得重新配置乙個tmp檔案目錄 首先在h...

Hadoop namenode無法啟動

最近遇到了乙個問題,執行start all.sh的時候發現jps一下namenode沒有啟動 每次開機都得重新格式化一下namenode才可以,但這個可不是解決問題的方法啊,總不能每次啟動就把檔案系統格式化一下吧,這還得了 檢視了一下日誌,發現如下錯誤 error org.apache.hadoop...

Hadoop namenode無法啟動

最近遇到了乙個問題,執行start all.sh的時候發現jps一下namenode沒有啟動 每次開機都得重新格式化一下namenode才可以 其實問題就出在tmp檔案,預設的tmp檔案每次重新開機會被清空,與此同時namenode的格式化資訊就會丟失 於是我們得重新配置乙個tmp檔案目錄 首先在h...