CDH6 3 2更換HDFS 資料目錄

2022-07-18 07:27:11 字數 1046 閱讀 5262

事情是這樣的,樓主剛入職一家新公司,剛開始搭建的集群時ecs只有乙個系統盤,集群安裝完成執行幾天後,分分鐘就要爆了,於是申請增加磁碟,就有了下面這些嘗試

檢視未掛載的磁碟

lsblk -f

fdisk /dev/vdb

fdisk -l

#3.格式化

mkfs.ext4 /dev/vdb

#4.掛載

mkdir /data

mount /dev/vdb /data/

#5.永久掛載

vim /etc/fstab

###############

/dev/vdb /data ext4 defaults 0 0

###############

#6.重啟驗證

reboot

經過上面步驟磁碟是掛載好了,怎麼把cdh集群中原有的資料遷移到新的資料盤上呢?

1:首先停止hdfs服務

資料檔案位置預設在 /dfs/ 中,這裡配置 namenode、secondarynamenode、datanode 資料目錄。

2:在hdfs例項節點新磁碟建立資料目錄

在把所有 hdfs 的主機上把資料拷貝過去,然後再修改 cdh 上的配置。

mkdir /cdh/dfs

此處一定要注意更換使用者組設定

chown -r hdfs:hdfs /cdh/dfs
cp -af /dfs/* /cdh/dfs/

再啟動 hdfs 角色。

# 執行 fsck 檢查是否複製正確

hdfs fsck /

啟動成功後如圖,更換成功,容量顯示正常

CDH6 3 2之YARN生產環境調優

調整yarn 本主題僅適用於yarn群集,並介紹如何為群集調整和優化yarn。概觀此概述提供yarn群集的抽象描述和yarn調整的目標。yarn群集由主機組成。主機提供記憶體和cpu資源。vcore或虛擬核心是主機cpu的使用份額。調整yarn主要包括在工作主機上最佳地定義容器。您可以將容器視為由記...

cdh6 3 2整合外部元件之phoenix

環境說明 cdh版本 cdh6.3.2 元件版本資訊如下 元件版本 1.方式一,製作yum源,配置parcel遠端倉庫 cd var www html mkdir phoenix5.0.0 cp soft phoenix phoenix5.0.0 cd phoenix5.0.0 createrepo...

CDH集群 HDFS資料儲存 更換目錄

cdh集群中,資料檔案位置預設在 dfs dn 中,這個目錄所屬的碟符是 但是 只有50g大小,還有其他各種檔案的日誌什麼的,空間很緊張。今天啟動指令碼上傳檔案到hive,因為空間問題一直報錯。查閱了資料,需要將cdh集群 hdfs資料儲存 更換目錄。通過命令檢視各個碟符 占用情況 1.定位思路 先...