namenode故障後,可以採用如下兩種方法恢復資料。
方法一:將secondarynamenode中資料拷貝到namenode儲存資料的目錄
方法二:使用-importcheckpoint 選項啟動namenode守護程序,從而將secondarynamenode中華資料拷貝到namenode目錄中。
①:手動拷貝secondarynamenode資料:
1)kill -9 namenode程序
2)刪除namenode儲存的資料(opt/software/hadoop-2.9.0/data/tmp/dfs/name)
rm -rf opt/software/hadoop-2.9.0/data/tmp/dfs/name/*
3)拷貝secondarynamenode中資料到原namenode儲存資料目錄
scp -r root@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
4)重新啟動namenode
sbin/hadoop-daemon.sh start namenode
②:採用importcheckpoint命令拷貝secondarynamenode資料
修改hdfs-site.xml中的配置
dfs.namenode.checkpoint.period
120
dfs.namenode.name.dir
/opt/software/hadoop-2.9.0/data/tmp/dfs/name
1)kill -9 name程序
2)刪除namenode儲存額資料
rm -rf /opt/software/hadoop-2.9.0/data/tmp/dfs/name/*
3)如果secondarynamenode不和namenode在乙個主機節點上,需要將secondarynamenode儲存資料的目錄拷貝到namenode儲存的平級目錄,並刪除in_use.lock檔案
scp -r [email protected]/data/tmp/dfs/namesecondary./(在102的/opt/software/hadoop-2.9.0/data/tmp/dfs這個目錄下執行)
4)匯入檢查點資料(等待一會ctrl+c結束掉)
bin/hdfs namenode -importcheckpoint
5)啟動namenode
sbin/hadoop-daemon.sh start namenode
hadoop中namenode啟動失敗
jps發現namenode啟動失敗 每次開機都要重新格式化一下namenode才可以 其實問題出現自tmp檔案上,因為每次開機就會被清空,所以現在我們配置乙個tmp檔案目錄。如果之前沒有配置過,預設是在 tmp 根目錄下的tmp檔案下,我的tmp沒啥重要檔案所以在配置之前,把裡面的檔案清空了 首先建...
Hadoop中Namenode的HA查詢和切換
三颱小型hadoop集群,上星期公司機房停電了,這次上去start了集群,但是發現start之後無法工作了。檢視了jps發現該有的程序都有了,敲入 hadoop fs ls 報錯內容如下 org.apache.hadoop.ipc.remoteexception org.apache.hadoop....
NameNode啟動流程(HADOOP)
整理資料吧,溫故而知新。main namenode啟動流程 namenode啟動流程 載入fsimage和edits檔案。生成新的fsimage和edits檔案。等待datanode註冊,傳送block report。namenode啟動流程點 一些解釋 fsimage 映象 rpc 遠端過程通過協...