大資料集群間資料由hbase到impala

2021-07-27 17:49:02 字數 1463 閱讀 9296

10.0.0.11

建立測試表

插入測試資料

put 'lv_test','rowkey001','cf:name','zhangsan'

put 'lv_test','rowkey001','cf:age','30'

get 'lv_test','rowkey001',

get 'lv_test','rowkey001'

put 'lv_test','rowkey002','cf:name','lisi'

put 'lv_test','rowkey002','cf:age','40'

get 'lv_test','rowkey002'

檢視測試表

scan 'lv_test'

匯出到hdfs

find ./ /opt -name hbase

cd /opt/cloudera/parcels/cdh-5.5.1-1.cdh5.5.1.p0.11/bin

hbase org.apache.hadoop.hbase.mapreduce.export lv_test /data/lv_test

hadoop fs -ls /data/lv_test

hadoop fs -get /data/lv_test

上傳到另一伺服器

192.168.51.251

上傳到hdfs

su - hdfs

hadoop fs -mkdir /data

hadoop fs -put /lv_test /data/lv_test

hadoop fs -ls  /data/lv_test

建立hbase表

scan 'lv_test_copy'

hbase org.apache.hadoop.hbase.mapreduce.import lv_test_copy /data/lv_test

建立hive外表

hive

create external table lv_test_copy(id string,name string,age string)

row format serde 'org.apache.hadoop.hive.hbase.hbaseserde'

stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'

tblproperties("hbase.table.name" = "lv_test_copy");

impala

impala-shell -i node90

同步元資料

invalidate metadata;

sql查詢結果

select * from lv_test_copy;

最後將外部表資料複製到基於parques的impala內部表,完成資料轉換。

insert into ***() select  * from *****

Hadoop集群間資料拷貝

有時候,我們需要做hadoop集群遷移時,要把大量儲存在hadoop集群上的資料也一併遷移過去。有2種方法可以使用 1.old hadoop cluster old local disks transmission new local disks new hadoop cluster 2.old h...

Elasticsearch集群間資料遷移

一 情況說明 將原來elasticsearch 6.4.2集群的資料遷移至現在的elasticsearch 7.2.0集群,遷移資料量大小在200g資料左右。二 遷移方案 1 使用elasticdump elasticdump是實現不同elasticsearch集群之間索引遷移的工具,基於npm包安...

大資料元件 HBASE

1 hbase是乙個非關係型分布式資料庫 nosql bigtable 參考的是谷歌 2 高可靠 採用主從架構,使用zookeeper管理 高效能 分布式並行處理 面向列 可伸縮 可新增子節點 3 採用hdfs作為檔案儲存系統 也可以採用其它的檔案儲存系統,沒整合mr計算的功能 4 hbase擅長查...