1.執行一次fsck，記錄檔案情況與公升級後的fsck情況對比。
—— ./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log
./bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log
./bin/hadoop dfsadmin -report > dfs-v-old-report-1.log
2.備份namenode資訊，即etc/hadoop/hdfs-site.xml下的
dfs.namenode.name.dir所指向的資料夾
3.備份配置檔案，即etc/hadoop檔案下的hadoop-env.sh，yarn-env.sh，mapred-env.sh,core-site.xml，mapred-site.xml，hdfs-site.xml，yarn-site.xml
《確保jns,zkns執行正常》
4.在standby nn2上執行hdfs dfsadmin -rollingupgrade prepare(生成備份fsimage檔案用於rollback)
在standby nn2上執行hdfs dfsadmin -rollingupgrade query(獲取備份生成情況——檔案是否在對應目錄生成)
5.在standby nn2上執行hadoop-deamon.sh stop namenode
在此機器上執行hdfs namenode -rollingupgrade started（
在進行upgrade finalize之前，nn的啟動必須用這種方式。並且此程式是前台程序，需要用nohup &方式啟動）
6.failover standby nn2 to active.
首先檢視nn2的狀態hdfs haadmin -getservicestate nnid
確認是standby 狀態後執行hdfs haadmin -failover --forcefence --forceactive now-active now-standby
（6條中所述方式只能在nn未開啟自動切換功能時的方式，對於開啟automatic-failover開關的情況，只需要kill掉active nn程序即可實現主備切換）
7.在nn1上執行hadoop-daemon.sh stop namenode
（由於步驟6已經kill掉nn1，所以這部可以省略）
8.在nn1上執行hdfs dfsadmin -rollingupgrade started.
9.分批公升級datanode
在一台dn上執行hdfs dfsadmin -shutdowndatanode ip:ipc_port upgrade
(此命令是在dn關閉時暫存接受到的dn client讀寫請求)
執行hdfs dfsadmin -getdatanodeinfo ip:ipc_port檢視dn是否完成shutdown
替換掉dn機器上的資料夾，jar包，環境變數等
在此機器上執行hadoop-daemon.sh start datanode
10.完成
11.執行穩定一段時間後在任意nn機器上執行:hdfs dfsadmin -rollingupgrade finalize
1.在一部分datanode上執行hdfs dfsadmin -shutdowndatanode ip:ipc_port upgrade
執行hdfs dfsadmin -getdatanodeinfo ip:ipc_port
檢視關閉狀態
2.downgrade datanode資料夾，軟連線重新定向
3.重複以上步驟降級所有dn.並且重啟。
4.在standby nn2上shutdown和downgrade資料夾，正常啟動nn2
failover 到 nn2
在nn1上執行以上操作。
5.最後結束公升級hdfs dfsadmin -rollingupgrade finalize
1.source ./stop-dfs.sh
2.降級所有節點的hadoop版本
3.啟動nns執行hdfs namenode -rollingupgrade downgrade
4.正常啟動所有dns.
Hadoop 1 x HDFS常見Shell命令
1 常見命令 a 檢視檔案 hadoop fs lsr 根目錄下有哪些檔案 b 建立檔案目錄 hadoop fs mkdir opt data c 上傳檔案到指定目錄 hadoop fs put 原始檔 目錄 d 檢視檔案1 hadoop fs cat原始檔 e 檢視檔案2 hadoop fs te...
Hadoop的冷備 熱備
冷備份 hadoop1.x namenode 主 secondarynamenode 從 在hadoop1.x中，secondarynamenode會按照時間閾值 比如24小時 或者edits日誌大小閾值 比如1g 週期性的將fsimage和edits合併成新的fsimage並替換，然後將最新的fs...
Hadoop學習筆記2
mr存在的問題 hadoop 1.x 與 hadoop 2.x 結構如圖所示 hadoop 2.x 由hdfs mr和yarn三個分支構成 hdfs 2.x 解決記憶體受限問題 2.x僅僅是架構上發生變化，使用方式不變 對hdfs使用者透明 hdfs 1.x種的命令和api仍可以使用 解決單點故障 ...