hadoop之hive hbase互操作

2022-06-12 10:06:11 字數 622 閱讀 4947

大家都知道,hive的sql操作非常方便,但是查詢過程中需要啟動mapreduce,無法做到實時響應。

hbase是hadoop家族中的分布式資料庫,與傳統關聯式資料庫不同,它底層採用列儲存格式,擴充套件性極高,響應時間也很快,當業務變化大時,可以作為mysql的補充。

幸運的是作為hadoop家族中比較成熟的兩個元件,hive和hbase可以進行互操作,在hive可以建立基於hbase的外部表,這樣既可以用到hbase的高效響應,也可以用到hive sql的高效操作。

--

建立基於hbase動態列的hive外部表

create external table

hbase_events2(

row_key string,

dt string,

deviceinfo map

,eventinfo map

) stored by'

org.apache.hadoop.hive.hbase.hbasestoragehandler

',eventinfo:dt,deviceinfo:,eventinfo:")

tblproperties("hbase.

table.name"="events");

Hadoop學習之安裝Hadoop

1.用xftp工具將hadoop 2.7.2.tar.gz匯入到opt目錄下面的software資料夾 2.進入到hadoop安裝包路徑下 cd opt software 3.解壓安裝檔案到 opt module下面 tar zxvf hadoop 2.7.2.tar.gz c opt module...

hadoop之hadoop基礎介紹

hadoop是什麼?是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本?apache clourdera hortonworks hadoop優勢?高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別?hdfs hadoop distributed...

Hadoop學習筆記之Hadoop簡介

apache hadoop 是乙個開源的 可靠的 靈活的 分布式的計算系統 來自官網 主要受google 三篇 的啟發 gfs mapreduce bigtable hadoop 海量資料的儲存 hdfs hadoop distributed file system 海量資料的分析 mapreduc...