hbase基於快照的資料遷移

hbase基於快照的資料遷移

1.        對於開啟安全認證（kerberos）的集群，首先需要關掉安全認證。

2.        在源集群所有節點/etc/hosts檔案中配置目標集群所有節點的host。

1.  

登入ambari檢查hbase-site.xml

中的hbase.snapshot.enabled

是否設定為true，確認開啟了快照許可。

1.        源集群，登陸hbase shell控制台，使用list_snapshot命令，列出所有的快照。會展示出快照名稱，源表，以及建立日期和時間上。

2.        在第1步快照列表中不存在的情況下，執行生成hbase表映象檔案命令

3.        執行「list_snapshots」再次檢視所有的hbase的快照列表，確認新的快照已經生成。

1.        源集群，檢視要遷移的hbase表的資料結構，記錄下列族資訊、版本資訊等內容，可從shell控制台檢視，也可以hbase webui中檢視。

2.        從源集群往目標集群拷貝快照（這裡用hdfs使用者）

1)        

不覆蓋目標集群同名快照

2)        覆蓋目標集群同名快照

1.        修改hdfs下hbase資料檔案的許可權（hdfs使用者登入）。

1.        根據舊集群hbase標的describe資訊，在新集群建立同樣的hbase表（必須同名）

create'table_test1',

1.        shell控制台中，執行

disable  』 table_test1』

restore_snapshot  'snap_ table_test1

enable ' table_test1'

2.        通過count命令校驗資料

count' table_test1'

hbase基於快照的資料遷移

hbase基於快照的資料遷移 前期準備 1.對於開啟安全認證 kerberos 的集群，首先需要關掉安全認證。2.在源集群所有節點 etc hosts檔案中配置目標集群所有節點的host。源集群操作 開啟hbase快照 1.登入ambari檢查hbase site.xml中的hbase.snapsh...

hbase 資料備份（快照）

snapshot 快照 開啟快照功能，在hbase site.xml檔案中新增如下配置項 hbase.snapshot.enabled true 在hbase shell中使用clone snapshot,delete snapshot,list snapshots,restore snapshot...

hbase資料遷移

說明 網上眾多千篇一律的版本都說要用到乙個add table.rb的檔案，可是我的版本根本hbase下就不存在這個檔案。1.把資料表test從hbase下拷出 hadoop dfs get hbase test 2.檔案放到新集群的系統上。3.檔案拷入新的hadoop集群hbase下 hadoop ...