cdh集群中，資料檔案位置預設在 /dfs/dn 中，這個目錄所屬的碟符是 /，但是 『/』只有50g大小，還有其他各種檔案的日誌什麼的，空間很緊張。今天啟動指令碼上傳檔案到hive，因為空間問題一直報錯。查閱了資料，需要將cdh集群 hdfs資料儲存 更換目錄。
通過命令檢視各個碟符 占用情況
1. 定位思路
先將集群停止，然後準備好新的儲存目錄，再將資料複製到新的目錄中，重啟集群。2.處理步驟
假設hdfs的預設安裝目錄為「/dfs/dn」，需要移動目錄到「/home/dfs_new/dn」中。
1 .登入cdh manager，停止hdfs集群
2 .在home目錄下建立 dfs_new/dn 目錄
cd /home
mkdir -p /home/dfs_new/dn
chown -r hdfs /home/dfs_new/dn
chgrp -r hadoop /home/dfs_new/dn
將資料複製到目標目錄：當前datanode的目錄為根目錄下，和系統目錄在同一目錄下，隨著datanode的增長導致系統執行空間不足cp -af /dfs/dn/* /home/dfs_new/dn開啟hdfs服務datanode配置頁面，將所有datanode的資料目錄配置項「dfs.datanode.data.dir」
由「/dfs/dn」修改為「/home/dfs_new/dn」。
5 . 啟動成功後，執行fsck檢查是否複製正確。 命令樣例：
hdfs fsck /
6 . fsck顯示有檔案丟失，則檢查2是否正確，並執行相關的修復。
7 . fsck顯示檔案無檔案丟失，hdfs沒有處於安全模式，則表示資料複製成功。
8 . 刪除原有資料目錄「/dfs/dn」中的檔案。
9 . 啟動集群中剩餘的服務。
10 . 再平衡
CDH6 3 2更換HDFS 資料目錄
事情是這樣的，樓主剛入職一家新公司，剛開始搭建的集群時ecs只有乙個系統盤，集群安裝完成執行幾天後，分分鐘就要爆了，於是申請增加磁碟，就有了下面這些嘗試 檢視未掛載的磁碟 lsblk f fdisk dev vdb fdisk l 3.格式化 mkfs.ext4 dev vdb 4.掛載 mkdir...
CDH集群節點更換硬碟實施方案
背景 因cdh資料互動比較頻繁，硬碟的消耗較快，硬碟正常使用3年後容易出現硬碟壞道，為了避免硬碟壞道過多導致影響業務，經在測試環境中測試更換cdh集群節點硬碟後資料塊未出現丟失現象。實施步驟 測試環境node5節點進行測試 查詢異常硬碟掛載目錄 目前是望京cdh平台node9的 dev sdb1硬碟...
hdfs問題 hdfs 跨集群資料遷移報錯
目前想要讓kerberos集群的hdfs資料遷移到非kerberos集群的hdfs上，使用以下命令報錯 sudo kinit hive sudo klist sudo hadoop distcp hdfs 8020 user hive warehouse test.db hdfs 8020 user...