Hadoop中namenode出現故障的解決方法

2021-08-26 23:14:50 字數 1255 閱讀 7084

namenode故障後,可以採用如下兩種方法恢復資料。

方法一:將secondarynamenode中資料拷貝到namenode儲存資料的目錄

方法二:使用-importcheckpoint 選項啟動namenode守護程序,從而將secondarynamenode中華資料拷貝到namenode目錄中。

①:手動拷貝secondarynamenode資料:

1)kill -9 namenode程序

2)刪除namenode儲存的資料(opt/software/hadoop-2.9.0/data/tmp/dfs/name)

rm -rf opt/software/hadoop-2.9.0/data/tmp/dfs/name/*

3)拷貝secondarynamenode中資料到原namenode儲存資料目錄

scp -r root@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

4)重新啟動namenode

sbin/hadoop-daemon.sh start namenode

②:採用importcheckpoint命令拷貝secondarynamenode資料

修改hdfs-site.xml中的配置

dfs.namenode.checkpoint.period

120

dfs.namenode.name.dir

/opt/software/hadoop-2.9.0/data/tmp/dfs/name

1)kill -9 name程序

2)刪除namenode儲存額資料

rm -rf /opt/software/hadoop-2.9.0/data/tmp/dfs/name/*

3)如果secondarynamenode不和namenode在乙個主機節點上,需要將secondarynamenode儲存資料的目錄拷貝到namenode儲存的平級目錄,並刪除in_use.lock檔案

scp -r [email protected]/data/tmp/dfs/namesecondary./(在102的/opt/software/hadoop-2.9.0/data/tmp/dfs這個目錄下執行)

4)匯入檢查點資料(等待一會ctrl+c結束掉)

bin/hdfs namenode -importcheckpoint

5)啟動namenode

sbin/hadoop-daemon.sh start namenode

hadoop中namenode啟動失敗

jps發現namenode啟動失敗 每次開機都要重新格式化一下namenode才可以 其實問題出現自tmp檔案上,因為每次開機就會被清空,所以現在我們配置乙個tmp檔案目錄。如果之前沒有配置過,預設是在 tmp 根目錄下的tmp檔案下,我的tmp沒啥重要檔案所以在配置之前,把裡面的檔案清空了 首先建...

Hadoop中Namenode的HA查詢和切換

三颱小型hadoop集群,上星期公司機房停電了,這次上去start了集群,但是發現start之後無法工作了。檢視了jps發現該有的程序都有了,敲入 hadoop fs ls 報錯內容如下 org.apache.hadoop.ipc.remoteexception org.apache.hadoop....

NameNode啟動流程(HADOOP)

整理資料吧,溫故而知新。main namenode啟動流程 namenode啟動流程 載入fsimage和edits檔案。生成新的fsimage和edits檔案。等待datanode註冊,傳送block report。namenode啟動流程點 一些解釋 fsimage 映象 rpc 遠端過程通過協...