一.使用hive獲取,hbase中資料
1.create 'hadoop:hbase_hive_human','info'
2.造數
put 'hadoop:hbase_hive_human','1','info:id','1'
put 'hadoop:hbase_hive_human','1','info:name','wang'
put 'hadoop:hbase_hive_human','1','info:age',18
put 'hadoop:hbase_hive_human','2','info:id','2'
put 'hadoop:hbase_hive_human','2','info:name','wang'
put 'hadoop:hbase_hive_human','2','info:age',18
put 'hadoop:hbase_hive_human','3','info:id','3'
put 'hadoop:hbase_hive_human','3','info:name','wang'
put 'hadoop:hbase_hive_human','3','info:age',18
put 'hadoop:hbase_hive_human','4','info:id','4'
put 'hadoop:hbase_hive_human','4','info:name','wang'
put 'hadoop:hbase_hive_human','4','info:age',18
put 'hadoop:hbase_hive_human','5','info:id','5'
put 'hadoop:hbase_hive_human','5','info:name','wang'
put 'hadoop:hbase_hive_human','5','info:age',18
3.建立乙個
create external table hive.hbase_hive_human(
rowkey string,
id int,
name string
) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'
,"hbase.table.name" = "hadoop:hbase_hive_human");
或create external table hive.hbase_hive_human(
rowkey string,
id int,
name string
) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'
tblproperties ("hbase.table.name" = "hadoop:hbase_hive_human");
二.利用hive把hdfs中資料匯入hbase
sqoop只能把資料匯入到hdfs中,
所有可以利用hive 再把hdfs中資料匯入hbase中
1.建立乙個hive表
create table hive.hivetohbase(
id int,
name string,
age int
) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'
with serdeproperties (
"hbase.table.name" = "hadoop:hivetohbase");
不能直接從本地匯入到該錶(報錯)
load data local inpath '/home/wang/a/1.txt' into table hive.hivetohbase;
可以使用以下方式插入資料:
insert into table hive.hivetohbase select id,name,age from st;
insert overwrite table hive.hivetohbase select id,name,age from st;
和hbase對映 hbase整合hive
hive提供了與hbase的整合,是的能夠在hbase表上使用hive sql語句進行查詢 插入操作以及進行join和union等複雜查詢 同時也可以將hive表中的資料對映到hbase中。當我們在使用hive時候,在資料量多的時候就會發現非常的慢,乙個簡單的sql都要半天,其實我們追尋他的原因很簡...
大資料技術Hbase和Hive詳解
大資料技術hbase和hive詳解,今天給大家介紹一下關於零基礎學習大資料之hbase和hive是多麼重要的技術,那麼兩者有什麼區別呢?下面我們一起來看一下吧。apachehive是乙個構建在hadoop基礎設施之上的資料倉儲。通過hive可以使用hql語言查詢存放在hdfs上的資料。hql是一種類...
HBase資料遷移至Hive
背景 需要將hbase中表xyz 列簇cf1,列val 遷移至hive 1.建立hive和hbase的對映關係 1.1 執行hive shell進入hive命令列模式,執行如下指令碼 create external table hbase table 1 key int,value string s...