偽分布式hbase資料遷移彙總

2022-06-18 07:27:08 字數 1040 閱讀 8071

hbase0.94.11(hadoop為1.1.2,此電腦ip為172.19.32.128)向hbase1.1.2 (hadoop為2.6.5,此電腦ip為172.19.32.118)資料遷移.

第一步:首先必須關閉防火牆。

sudo ufw enable

sudo ufw disable

sudo ufw allow|deny 8000

第二步進行遷移

方式一:

用snapshot進行資料遷移時需要localhost的地方把hadoop的core-site.xml中的fs.default.name設定為localhost。不要使用本機ip,即172.19.32.128。

方式二:

使用hadoop fs –cp命令,進行資料遷移時,雙方的ip必須按照hadoop的core-site.xml中的fs.default.name來寫。(src中配置為localhost,des中配置是其本機的位址,即172.19.32.118).

方式三:

使用hadoop的distcp工具進行資料遷移:

資料遷移總結:

1. hadoop distcp

將hbase儲存在hdfs上面的資料目錄全部從當前集群拷貝至目標集群hbase對應的hdfs目錄;

hadoop distcp -f hbasedir "hdfs://new cluster ip:9000/hbasedir

說明:此方案只適用於離線遷移;且測試由0.94–》1.1.2版本測試失敗。同版本的資料遷移(備份)沒問題 。

2. hadoop fs –cp

此操作可以進行本地檔案系統和hdfs中資料的匯入匯出。實現兩個集群的hdfs進行,此操作需要消耗大量的網路頻寬,速度慢。測試由0.94–》1.1.2版本測試失敗。

3.hbase –snapshot

此操作進行資料遷移比較高效,較推薦。測試由0.94–》1.1.2版本測試失敗。

以上三種都需要注意ip的設定。

HBase 1 1 2安裝(偽分布式)

嚷嚷著要學hbase還是去年的事情,最近才是真正靜下心來學習。廢話不多說,讓我來轟轟烈烈地安裝下hbase吧!zookeeper 安裝好了單機版的zookeeper.注意點1 zookeeper的zoo.cfg的配置中的datadir,是zookeeper安裝資料夾下面的data.然後用sh zks...

HBase基於HDFS的偽分布式配置

目前正在做hadoop的專案,這周進度推進到hbase的偽分布式。通過eclipse程式設計試圖向hbase中新增資料。但是總是遇上zookeepersaslclient securityexception的問題。於是先在shell上試圖配置hbase的偽分布式,檢視日誌後發現還是有這個問題。查了很...

Hbase偽分布式快速安裝 shell簡單訪問

hbase0.96快速安裝過程 簡化版 hdfs oraclehadoop1 9000 hbase hbase.cluster.distributed true hbase.zookeeper.quorum oraclehadoop1 dfs.replication 16.在 hbase home ...