一、hdfs中namenode的啟動過程 1
、在hdfs-site.xml
中設定檔案儲存路徑並指向
data
路徑，在
hadoop
安裝路徑中新建
data
目錄。
2、進行
namenode
格式化，在
data
目前中生成各類目錄，並生成
fsimage
檔案。
3、第一次啟動
namenode
硬碟中將
fsimage
載入到記憶體中，
hdfs
檔案如果修改，將寫
edits
檔案作為
log，並將最新修改內容載入到內容中。同時
secondarynamenode
，將不斷的從
namenode
fsimage+edits
，並上傳到
namenode
，namenode
修改原fsimage
，替換為新的
fsimage。
4、datanode
向namenode
進行註冊。每隔3秒，
datanode
向namenode
註冊心跳的間隔時間。 5
、每小時
datanode
預設向namenode
傳送block report
。匯報datanode
的資料節點情況。 6
、第二次啟動，
namenode
硬碟中將新的
fsimage
載入到記憶體中，並進行改寫
edits
，其他的與第一次啟動相似。見下圖
二、hdfs
中namenode
元資料本地磁碟儲存目錄如何配置以及
datanode
儲存資料的本地磁碟目錄配置
在core-site.xml
中配置
hadoop.tmp.dir
在hdfs-site.xml
中配置
dfs.namenode.name.dir
file://$/dfs/name
dfs.datanode.data.dir
file://$/dfs/data
三、儲存在
hdfs
上的檔案，儲存機制及資料安全性保證。
可以在hdfs-site.xml
中設定hdfs
的副本數量
如果設定
3副本，一定有兩個副本不在同乙個機架，並且
3個副本不在同的機器上。
HDFS中NameNode的啟動過程
namenode儲存檔案系統元資料映象，namenode在記憶體及磁碟上分別存在乙份元資料映象檔案，記憶體中元資料映象保證了hdfs檔案系統檔案訪問效率，磁碟上的元資料映象保證了hdfs檔案系統的安全性。namenode在磁碟上的檔案組成 fsimage檔案 儲存檔案系統至上次checkpoint為...
HDFS之NameNode故障處理
namenode故障後，可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 1.kill 9 namenode程序 2.刪除namenode儲存的資料 opt module hadoop 2.7.2 data tmp dfs name...
HDFS中namenode元資料管理機制
元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時，datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時，namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...