hive和hbase資料相互關聯

2021-09-08 12:27:10 字數 2104 閱讀 9415

一.使用hive獲取,hbase中資料

1.create 'hadoop:hbase_hive_human','info'

2.造數

put 'hadoop:hbase_hive_human','1','info:id','1'

put 'hadoop:hbase_hive_human','1','info:name','wang'

put 'hadoop:hbase_hive_human','1','info:age',18

put 'hadoop:hbase_hive_human','2','info:id','2'

put 'hadoop:hbase_hive_human','2','info:name','wang'

put 'hadoop:hbase_hive_human','2','info:age',18

put 'hadoop:hbase_hive_human','3','info:id','3'

put 'hadoop:hbase_hive_human','3','info:name','wang'

put 'hadoop:hbase_hive_human','3','info:age',18

put 'hadoop:hbase_hive_human','4','info:id','4'

put 'hadoop:hbase_hive_human','4','info:name','wang'

put 'hadoop:hbase_hive_human','4','info:age',18

put 'hadoop:hbase_hive_human','5','info:id','5'

put 'hadoop:hbase_hive_human','5','info:name','wang'

put 'hadoop:hbase_hive_human','5','info:age',18

3.建立乙個

create external table hive.hbase_hive_human(

rowkey string,

id int,

name string

) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'

,"hbase.table.name" = "hadoop:hbase_hive_human");

或create external table hive.hbase_hive_human(

rowkey string,

id int,

name string

) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'

tblproperties ("hbase.table.name" = "hadoop:hbase_hive_human");

二.利用hive把hdfs中資料匯入hbase

sqoop只能把資料匯入到hdfs中,

所有可以利用hive 再把hdfs中資料匯入hbase中

1.建立乙個hive表

create table hive.hivetohbase(

id int,

name string,

age int

) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'

with serdeproperties (

"hbase.table.name" = "hadoop:hivetohbase");

不能直接從本地匯入到該錶(報錯)

load data local inpath '/home/wang/a/1.txt' into table hive.hivetohbase;

可以使用以下方式插入資料:

insert into table hive.hivetohbase select id,name,age from st;

insert overwrite table hive.hivetohbase select id,name,age from st;

和hbase對映 hbase整合hive

hive提供了與hbase的整合,是的能夠在hbase表上使用hive sql語句進行查詢 插入操作以及進行join和union等複雜查詢 同時也可以將hive表中的資料對映到hbase中。當我們在使用hive時候,在資料量多的時候就會發現非常的慢,乙個簡單的sql都要半天,其實我們追尋他的原因很簡...

大資料技術Hbase和Hive詳解

大資料技術hbase和hive詳解,今天給大家介紹一下關於零基礎學習大資料之hbase和hive是多麼重要的技術,那麼兩者有什麼區別呢?下面我們一起來看一下吧。apachehive是乙個構建在hadoop基礎設施之上的資料倉儲。通過hive可以使用hql語言查詢存放在hdfs上的資料。hql是一種類...

HBase資料遷移至Hive

背景 需要將hbase中表xyz 列簇cf1,列val 遷移至hive 1.建立hive和hbase的對映關係 1.1 執行hive shell進入hive命令列模式,執行如下指令碼 create external table hbase table 1 key int,value string s...