1.:/tmp/hadoop-
修改路徑到當前使用者目錄下:
/home/lyxy/tmp/hadoop
注意:格式化的含義-->建立dfs/name/fsimage和edits檔案,針對namenode守護程序的。
開啟namenode守護程序失敗:
a.重新格式化,原有hdfs的資料全部刪除掉(不建議使用)
b.複製到路徑下,重新開啟namenode守護程序,問題解決,因為namenode守護程序開啟的時候需要載入fsimage和edits檔案到記憶體,然而找不到這兩個檔案,所以開啟失敗。
2.檢視系統日誌
3.分別設定dfs相關目錄,在hdfs-default.xml
name目錄
dfs.namenode.name.dir
file://$/dfs/name,file://$/dfs/name1
確定dfs名稱節點應在本地檔案系統的哪個位置儲存名稱表(fsimage)。
如果這是乙個以逗號分隔的目錄列表,則名稱表將被複製到所有目錄中,以實現冗餘
data目錄
dfs.datanode.data.dir
file://$/dfs/data
確定dfs資料節點應該在本地檔案系統上儲存塊的位置。
如果這是以逗號分隔的目錄列表,則資料將儲存在所有已命名的目錄中,通常位於不同的裝置上。 應該為hdfs儲存策略標記相應的儲存型別([ssd] / [磁碟] / [存檔] / [ram_disk])。
如果目錄沒有顯式標記儲存型別,則預設儲存型別為disk。 如果本地檔案系統許可權允許,則不存在的目錄將被建立。
namesecondary目錄
dfs.namenode.checkpoint.dir
file://$/dfs/namesecondary
確定本地檔案系統上dfs輔助名稱節點應該儲存要合併的臨時影象的位置。
如果這是乙個以逗號分隔的目錄列表,則影象將複製到所有目錄中以實現冗餘。
HDFS資料副本存放策略
1.副本放置策略 第一副本 放置在上傳檔案的datanode上 如果是集群外提交,則隨機挑選一台磁碟不太慢 cpu不太忙的節點上 第二副本 放置在於第乙個副本不同的機架的節點上 第三副本 與第二個副本相同機架的不同節點上 hdfs採用一種稱為機架感知 rack aware 的策略來改進資料的可靠性 ...
HDFS副本存放策略
第乙個block副本放在和client所在的node裡 如果是集群外提交,則隨機挑選一台磁碟不太慢 cpu不太忙的節點上 第二個副本放置在與第乙個節點不同的機架中的node中 隨機選擇 第三個副本和第二個在同乙個機架,隨機放在不同的node中。如果還有更多的副本就隨機放在集群的node裡。流水線複製...
HDFS副本存放策略
資料分塊儲存和副本的存放,是保證可靠性和高效能的關鍵 將每個檔案的資料進行分塊儲存,每乙個資料塊又儲存有多個副本。這些資料塊副本分布在不同的機器節點上 設定備份數 方法一 配置檔案hdfs site.xml dfs.replication 3方法二 通過命令修改備份數 bin hadoop fs s...