hbase0.94.11(hadoop為1.1.2,此電腦ip為172.19.32.128)向hbase1.1.2 (hadoop為2.6.5,此電腦ip為172.19.32.118)資料遷移.
第一步:首先必須關閉防火牆。
sudo ufw enable
sudo ufw disable
sudo ufw allow|deny 8000
第二步進行遷移
方式一:
用snapshot進行資料遷移時需要localhost的地方把hadoop的core-site.xml中的fs.default.name設定為localhost。不要使用本機ip,即172.19.32.128。
方式二:
使用hadoop fs –cp命令,進行資料遷移時,雙方的ip必須按照hadoop的core-site.xml中的fs.default.name來寫。(src中配置為localhost,des中配置是其本機的位址,即172.19.32.118).
方式三:
使用hadoop的distcp工具進行資料遷移:
資料遷移總結:
1. hadoop distcp
將hbase儲存在hdfs上面的資料目錄全部從當前集群拷貝至目標集群hbase對應的hdfs目錄;
hadoop distcp -f hbasedir "hdfs://new cluster ip:9000/hbasedir
說明:此方案只適用於離線遷移;且測試由0.94–》1.1.2版本測試失敗。同版本的資料遷移(備份)沒問題 。
2. hadoop fs –cp
此操作可以進行本地檔案系統和hdfs中資料的匯入匯出。實現兩個集群的hdfs進行,此操作需要消耗大量的網路頻寬,速度慢。測試由0.94–》1.1.2版本測試失敗。
3.hbase –snapshot
此操作進行資料遷移比較高效,較推薦。測試由0.94–》1.1.2版本測試失敗。
以上三種都需要注意ip的設定。
HBase 1 1 2安裝(偽分布式)
嚷嚷著要學hbase還是去年的事情,最近才是真正靜下心來學習。廢話不多說,讓我來轟轟烈烈地安裝下hbase吧!zookeeper 安裝好了單機版的zookeeper.注意點1 zookeeper的zoo.cfg的配置中的datadir,是zookeeper安裝資料夾下面的data.然後用sh zks...
HBase基於HDFS的偽分布式配置
目前正在做hadoop的專案,這周進度推進到hbase的偽分布式。通過eclipse程式設計試圖向hbase中新增資料。但是總是遇上zookeepersaslclient securityexception的問題。於是先在shell上試圖配置hbase的偽分布式,檢視日誌後發現還是有這個問題。查了很...
Hbase偽分布式快速安裝 shell簡單訪問
hbase0.96快速安裝過程 簡化版 hdfs oraclehadoop1 9000 hbase hbase.cluster.distributed true hbase.zookeeper.quorum oraclehadoop1 dfs.replication 16.在 hbase home ...