Hive對接hbase方式之一 建立關聯表

2021-09-25 19:41:43 字數 857 閱讀 8661

一、hive與hbase版本相容性:

hive 1.2.x----hbase0.98.x

hive 2.x—hbase 1.x

hive 1.2.x與hbase1.x相容要重新編譯原始碼包hive-hbase-handler-1.2.1.jar

2 修改許可權為hadoop

sudo chown -r hadoop:hadoop hbase-0.98.24/

6 配置regionservers, 該檔案類似於 salves 檔案,配置過程中存在幾個regionserver 就寫幾個主機名稱

hadoop1

hadoop2

hadoop3

9 啟動: hbase master服務

bin/hbase-daemon.sh start master

啟動 regionserver 服務 在3個節點上啟動

bin/hbase-daemon.sh start regionserver

檢視web介面 埠60010

建立hive資料表emp

create table emp1 (empkey string, ename string, job string, sal double) row format delimited fields terminated by 『\t』;

load data local inpath 『/data/hbasedata.txt』 overwrite into emp1 ;

insert into table hive_hbase_table1 partition(pt=『2019-08-02』) select empkey, ename, job, sal from emp1;

建立成功!

Hbase對映hive表的方式

使用hsql建立乙個指向hbase表的hive表 兩種建立表方式分別如下 區別,主要看資料在hbase下還是在hive下。1 如果hbase表已經存在,可以建立外部表,如下 create external table hive table name key string,col name1 stri...

hive與hbase整合方式和優劣

分別安裝hive 和 hbase 1 在hive中建立與hbase關聯的表 create table ganji ranks row string,num string stored by org.apache.hadoop.hive.hbase.hbasestoragehandler with s...

HBase與Hive的整合案例一

1.hive與hbase的對比 hive 1 資料倉儲 hive 的本質其實就相當於將 hdfs 中已經儲存的檔案在 mysql 中做了乙個雙射關係,以方便使用 hql 去管理查詢 2 用於資料分析 清洗 hive 適用於離線的資料分析和清洗,延遲較高 3 基於 hdfs mapreduce hiv...