namenode服務遷移

2022-04-11 01:02:42 字數 1252 閱讀 9953

交代一下背景:

1. 由於機器過保,需要進行機器的置換,所以就有了這麼個事情;

2. namenode是普通的ha模式,沒有配置federation;

3. 需要盡最大的可能不影響生產環境中hadoop集群的服務

4. 我們的集群都是通過hostname進行的配置,不是通過具體的ip進行的配置。推薦使用hostname進行配置

下面開始記錄一下本次的工作: 這裡不寫出具體的ip和hostname,假設原來的namenode服務在ip為a,hostname為hosta和ip為b,hostname為hostb的兩台機器上上,其中a機器過保, 新機器的ip為c,需要將a上面的namenode服務遷移到c上面;

步驟如下:

1. 停止a機器上的namenode和zkfc服務,此時集群還是可以正常工作的

2. 停止了a機器上的namenode服務後, 此時a機器就不在集群範圍了。接著修改集群中每台機器的hosts檔案,將原來的 a和hosta的對映去掉,改成c和hosta的對映。修改完後,同步乙份hosts檔案到c機器。

3. 配置b機器c機器的免密碼登入,因為到時候namenode的ha切要用到

4. 拷貝a機器上的hadoop安裝目錄到c機器對應的目錄下,根據配置檔案建立對應的目錄和修改目錄的許可權,並且修改環境變數,弄成和a上面的一樣即可。

5. 同步namenode的fsimage,在c機器執行: hdfs namenode -bootstrapstandby

6. 啟動c機器上的namenode等服務(還有zkfc等服務)

7. 重啟b機器上的zkfc服務

以上,namenode服務遷移完畢,不會影響生產環境的正常工作。無需停止其它節點的服務.

下面對幾個注意事項進行說明:

1. 在操作的過程中要注意目錄的許可權,操作集群一定要使用對應的賬號。這裡都是統一用的hadoop賬號

2. 需要重啟另外一台機器上的zkfc服務, 因為修改了fencing的私鑰,不重啟zkfc會導致namenode的ha不能正常切換

3. 這裡進行namenode的服務遷移卻沒有停集群的原因是我們的集群是用hostname進行配置的,即使ip變了,只要hostname沒變是不會造成影響的,這也是推薦使用hostname進行集群配置的原因, 因為像這種遷移的操作會方便很多。如果是配置的ip,上面的操作就行不通了,必須停止集群。

4. 關於zkfc是否需要重新格式化的問題:答案是不需要的,同樣是因為通過hostname進行配置的,所以不需要。因為底層都是通過hostname去找對應的機器,它能夠自動的去找到對應的機器。

GeoServer 服務遷移

接下來需要做的是,把之前的geoserver所有發布的服務遷移到新的。把原來docker 下的tomcat裡面的geoserver.war拷貝到新的tomcat,這樣為了保證geoserver版本一致,版本不一致的情況沒測試過。把geoserver目錄的data下面所有檔案刪除,並將原來的data資...

redmine服務遷移

為方便各地的測試人員使用 所以需要將內網的bug管理系統 redmine 移植的阿里雲伺服器上。原bug管理系統 redmine 安裝環境 內網,windows server 2008r2 x64 目標bug管理系統 redmine 安裝環境 外網,linux centos 7 x64 考慮到bug...

job服務遷移

藍鯨job服務遷移過程 cd data install bkcec stop job 登入伺服器,首先停止job服務。修改install目錄下的修改 install.config 檔案,新增一行 ip job ip為待遷移的機器ip,刪除原ip所在行的job。bash configure ssh w...