靜態遷移方案(必須在hbase集群停掉的情況下進行)
hadoop distcp
動態遷移方案
三種:replication備份方案
修改hbase-site.xml配置,增加hbase.replication屬性,增加表屬性replication_scope屬性
add_peer
copytable方案
命令:./hbase org.apache.hadoop.hbase.mapreduce.copytable --peer.adr=new cluster ip:2181:/hbase
注意:拷貝完成不需要重啟機器,就能在新集群中看到該錶
穩定性還有待考慮
export and import 方案
在老集群上執行./hbase org.apache.hadoop.hbase.mapreduce.export test hdfs://old cluster ip:9000/***
在新集群上執行./hbase org.apache.hadoop.hbase.mapreduce.import test hers://new cluster ip:9000/***
注意:一定要寫全路徑,不能寫想對路徑
在import前,一定要在新集群中建好錶
手動方式
從源hbase集群中複製出hbase資料表到本地目錄 hadoop fs -get
目標hbase匯入 hadoop fs -put
修復.meta.表 hbase hbck -fixmeta
重新分配資料到各regionserver hbase hbck -fixassignments
elaticsearch集群資料遷移
第三方工具遷移或elasticsearch本身快照方式遷移,這裡以第三方工具遷移為例,elaticsearch dump 和esm 兩個。wget tar xf node v10.15.3 linux x64.tar.gz 設定軟連線 ln s node v10.15.3 linux x64 nod...
Elasticsearch集群間資料遷移
一 情況說明 將原來elasticsearch 6.4.2集群的資料遷移至現在的elasticsearch 7.2.0集群,遷移資料量大小在200g資料左右。二 遷移方案 1 使用elasticdump elasticdump是實現不同elasticsearch集群之間索引遷移的工具,基於npm包安...
集群檔案遷移
概述 資料遷移的場景 集群資料整體搬遷 資料的準實時同步 資料的雙備份可用 冷熱集群資料分類儲存 線上的資料和另外乙個冷資料集群 因為一般沒有對資料的隨機插入,所以沒有某個資料內容被修改的情況。上面的兩個情況可通過元資訊比較出來。一般情況下是對資料進行追加。一些判斷的方法 先比較檔案大小。如改變,擷...