Hadoop集群間HBase資料遷移

2021-07-31 13:56:27 字數 824 閱讀 5863

背景:hbase cluster1 -> hbase cluster2

【利用hbase的snapshots功能,進行集群之間的hbase資料前移】

1.開啟snapshots功能(0.95及以上版本預設開啟了)

hbase.snapshot.enabledname>

truevalue>

property>

2. 建立snapshot(在cluster1上操作)
$ hbase shell

hbase> snapshot 'mytable', 'mytablesnapshot-122112'

3. 執行遷移

3.1 推式(在cluster1上操作)

$ hbase org.apache

.hadoop

.hbase

.snapshot

.exportsnapshot -snapshot mysnapshot -copy-to

3.2 拉式(在cluster2上操作)
$ hbase org.apache.hadoop.hbase.snapshot.exportsnapshot -snapshot mysnapshot -copy

-from hdfs://cluster1:8020/hbase_root_dir

-copy

4. 恢復資料(在cluster2上操作)
$ hbase shell

hbase> restore_snapshot 'mytablesnapshot-122112'

快速啟動Hadoop集群 hbase指令碼(超詳細)

快速啟動hadoop集群 hbase指令碼 超詳細 注意 具體 在最後 一 啟動hadoop集群指令碼 1 在 usr local bin目錄下建立指令碼檔案,指令碼檔案名字為 hadoopstart 2 更改指令碼檔案許可權 3 編輯指令碼 新增指令碼內容 bin bash echo start ...

Hadoop分布式 之 Hbase集群搭建

hbase是apache hadoop中的乙個子專案,是乙個hbase是乙個開源的 分布式的 多版本的 面向列的 非關係 nosql 的 可伸縮性分布式資料儲存模型,hbase依託於hadoop的hdfs作為最基本儲存基礎單元。hbase的伺服器體系結構遵從簡單的主從伺服器架構,它由hregion ...

兩個hbase集群間同步資料

一.準備階段 1.準備2套能正常執行的hbase集群 new cluster 222 oldcluster 226 2.2套集群的hosts檔案內容都需要包含對方的主機位址 3.zookeeper可以單獨部署2個集群,也可用乙個zookeeper集群管理2套hbase集群,就是不能用hbase自帶的...