從CDH集群中移除裝置記錄

2021-10-19 01:38:16 字數 1346 閱讀 4031

因為公司其他業務需要,從利用率不算太高的老舊集群中分出一部分機器用於其他業務。

需要從舊cdh集群中刪除指定的機器。

必須注意一點:hadoop預設副本數為3,所以一次最多移除兩台機器,

hadoop集群需要時間來同步集群中block塊的確實副本(hadoop集群檢測到副本數量不足後,

會自動從現有block塊同步到其他存活的datanode)

如果副本還未同步完畢就又刪除新的機器,可能會造成比較嚴重的資料缺失問題,難以修復

一定要注意!!!

檢視所有主機:

第一步:先確定哪台機器的服務或者角色較少,方便遷移服務和資料

(比如不可能移除clodera-scm-server主機,這相當於需要重新搭建乙個新的cdh集群)

第二步:停掉需要刪除的主機上的所有角色

第三步:逐個刪除已經停掉的角色

第四步:刪除完成後,將角色數量為0(刪光了)的機器移出集群

第五步:到被移除的機器上停掉cloudera-scm-agent服務

命令(centos7):

systemctl stop cloudera-scm-agent
此時cloudera-scm-server不會再檢測到這台機器,可以在重新安裝系統後用於其他業務

需要注意的是,可以先在其他不會移除的機器上建立替代角色,比如zookeeper,

然後再在會被移除的機器上進行角色刪除,中間停掉服務的時間短一些,能儘量減少影響,

但有些角色具有唯一性,不能直接新增角色,比如yarn的history角色,可以在刪除後立即新增。

有的時候會有些奇怪,新增完替代角色後立即重啟角色會失敗,等待一段時間後才能啟動成功。

還有一點,在所有需要移出的機器已經被移除後,需要調整cdh集群配置

cdh有一鍵部署功能,但是會使整個集群的角色全部重啟,影響非常大

首先需要明確的是:生產集群,哪怕業務很少也不能全部重啟,但是可以乙個乙個的單獨調整角色,

第一步:先重新部署客戶端配置

第二步:逐個重啟單個角色

為了不影響業務,重啟的時候慢一點,確認無誤後再進行下乙個。

使用 ESXCLI 命令從主機移除裝置

使用 esxcli 命令從主機移除裝置 更新時間 2019年05月31日 選擇的產品版本 vmware vsphere 6.7 如果檢測到失敗的儲存裝置或公升級裝置,則可以使用 esxcli 命令手動從主機中移除該裝置。如果移除某個快閃儲存器快取裝置,則 vsan 將刪除與該快閃儲存器裝置關聯的磁碟...

如何從文字中移除空白內容

第一種 使用正則 複製 如下 echo preg replace ab ab 輸出 abab 第二種 使用str replace 函式 複製 如下 echo str replace ab ab 輸出 abab 第三種 使用strtr 函式 複製 如下 echo strtr ab ab array 輸...

從std vector中移除指定元素的方法

include include include typedef int mytype using namespace std int main vector iterator iter vec2.begin for iter vec2.end iter if iterstd remove first...