元資料就是檔案的建立時間、大小、許可權、塊列表等資訊。
在hadoop集群中namenode的元資料資訊都儲存在了fslmage和eidts檔案中，這兩個檔案的目錄資訊就配置在hdfs-site.xml檔案中。
**fsimage:hdfs檔案系統存於硬碟中的元資料檢查點，裡面記錄了自最後一次檢查點之前hdfs檔案系統中所有目錄和檔案的序列化資訊edits:**儲存了自最後一次檢查點之後所有針對hdfs檔案系統的操作，比如：增加檔案、重新命名檔案、刪除目錄等等。
兩個檔案一旦損壞或丟失將導致整個hdfs檔案系統不可用。
[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-qgk3ybz2-1603113326336)(
namenode中記憶體中有元資料，而fsimage相當於對元資料的備份，edits記錄最近操作日誌，fsimage和edits會週期性的合併為乙個檔案。
hdfs oiv用於將fsimage檔案轉換成其他格式的，如文字檔案、xml檔案。
必須引數：
-i,–inputfile輸入fsimage檔案.
-o,–outputfile輸出轉換後的檔案，如果存在，則會覆蓋
可選引數：
-p,–processor將fsimage檔案轉換成哪種格式： (ls|xml|filedistribution).預設為ls.
-h,–help顯示幫助資訊
例項：將fsimage轉換為txt儲存在指定目錄。
hdfs oiv -i /data1/hadoop/dfs/name/current/fsimage_0000000000019372521 -o /home/hadoop/fsimage.txthdfs oiv -i /data1/hadoop/dfs/name/current/fsimage_0000000000019372521 -o /home/hadoop/fsimage.xml -p xml必須引數：
-i,–inputfile輸入edits檔案，如果是xml字尾，表示xml格式，其他表示二進位制。
-o,–outputfile輸出檔案，如果存在，則會覆蓋。
可選引數：
-p,–processor指定轉換型別: binary (二進位制格式), xml (預設，xml格式),stats (列印edits檔案的靜態統計資訊)
-h,–help顯示幫助資訊
-f,–fix-txids重置輸入edits檔案中的transaction ids
-r,–recover使用recovery模式，跳過eidts中的錯誤記錄。
-v,–verbose列印處理時候的輸出。
例項：未指定-p選項，預設輸出xml檔案
hdfs oev -i /data1/hadoop/dfs/name/current/edits_0000000000019382469-0000000000019383915 -o /home/hadoop/edits.xml當edits檔案破損進而導致hdfs檔案系統出現問題時，可以通過將原有的binary檔案轉換為xml檔案，並手動編輯xml檔案然後轉回binary檔案來實現。
例項：指定-p選項輸出統計資訊
hdfs oev -i /data1/hadoop/dfs/name/current/edits_0000000000019382469-0000000000019383915 -o /home/hadoop/edits.txt -p stats[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-hhnmpm3w-1603113326340)(
HDFS元資料管理
hdfs的目錄結構，包含哪些資料夾子資料夾，以及資料夾下面包含哪些檔案，以及每個檔案的block資訊 id,副本係數，block存放在那個datanode上 元資料存放在 name路徑下。在namenode的記憶體中有乙個樹形結構，存放的就是元資料資訊，對檔案的任何修改都在記憶體中有體現，但是如果機...
HDFS知識點 四 HDFS元資料管理
元資料就是 hdfs的目錄結構以及每個檔案的block資訊 id 副本係數 block存放在哪個datanode上 對應配置 name 在 name current下，這些就是元資料 元資料存放在檔案中 一般情況下合併不會交給namenode來操作的，因為客戶端的所有請求都在namenode上，如果...
複習記錄一 HDFS元資料管理
fsimage和edits 在hdfs集群中，namenode的元資料都儲存在了fsiamge和edits當中。這兩個檔案就記錄了所有的元資料資訊。edits fsimage secondarynamenode的合併操作 為了防止edits檔案過大，secondarynamenode會定期的合併fs...