hive為什麼要與hbase整合
hive與hbase整合指導
hadoop、hive、hibase版本對應關係
hive為什麼要與hbase整合
進度:已看完,能理解。
操作:沒有實際操作過,所以優點和缺點沒有深刻體會。
1.hbase目前支援的功能
(1)通過sql語句來查詢hbase中的表資料
(2)從oracle資料庫匯入表資料到hbase
2.hive目前支援的功能
內容較多,只列出部分,通過下面我們可以看出hive對於sql的支援,有強大的功能。我們不需要寫過多的自定義函式,亦能實現一些複雜的查詢等。
(1)關係運算
(2)數**算
(3)邏輯運算
(4)數值計算
(5)日期函式
(6)條件函式
(7)字串函式
(8)集合統計函式
(9)復合型別構建操作
(10)複雜型別訪問操作
(11)複雜型別長度統計函式
3.整合後的效果
整合後,我們就可以通過hive,讀/寫hbase的表了。
4.hive與hbase整合的優缺點
(1)優點
hive方便地提供了h**重點內容ive ql的介面來簡化mapreduce的使用,而hbase提供了低延遲的資料庫訪問。如果兩者結合,可以利用mapreduce的優勢針對hbase儲存的大量內容進行離線的計算和分析。**
操作方便,hive提供了大量系統功能。
比如在hbase中要查詢乙個名字按姓名分組統計的sql,普通sql語句如下:
select name,count(name) from table1 where group by name;
但是如果在hbase中的話,那麼這樣的需求沒有好的實現辦法,只能去寫mr操作了。
但是在hive中可以直接執行乙個sql:select name,count(name) from table1 where group by name;就能得到結果了。
(2)缺點
效能的損失,hive有這樣的功能, 他支援通過類似sql語句的語法來操作hbase中的資料, 但是速度慢。
但是慢的理由還沒有get~
ps:再次強調
hive是邏輯表,沒有具體的資料儲存的,通過m/r去hdfs上讀取資料。
hbase是物理表,負責資料的儲存,有自己的儲存方式及儲存優化,資料最後存放在hdfs檔案系統上面。
hive與hbase整合指導
1.版本說明
hive 0.10.0
hbase 0.94.0
hadoop 1.0.1
2.配置*(這裡只大致講解流程,細節不深究,等到具體配置時才深究)*
step1: 建立配置檔案
cp conf/hive-default.xml.template hive-default.xml cp conf/hive-default.xml.template hive-site.xml
step2:修改配置檔案
基於hive-default.xml.template進行拷貝複製的hive-site.xml檔案有問題,主要集中在標籤不配對的情況,需要根據錯誤提示進行修改。
step3:新增配置屬性
hive.aux.jars.path
step4:拷貝jar包到hive/lib目錄
hbase-0.94.0.jar,zookeeper-3.4.3.jar
3.測試指令碼-建立hbase能識別的資料表
4.異常解決
Hive 五 hive與hbase整合
配置 hive 與 hbase 整合的目的是利用 hql 語法實現對 hbase 資料庫的增刪改查操作,基本原理就是利用兩者本身對外的api介面互相進行通訊,兩者通訊主要是依靠hive hbase handler.jar工具類。但請注意 使用hive操作hbase中的表,只是提供了便捷性,前面章節已...
Hive篇 Hive與Hbase整合
一 前述 hive會經常和hbase結合使用,把hbase作為hive的儲存路徑,所以hive整合hbase尤其重要。二 具體步驟 hive和hbase同步 1 把hive hbase handler 1.2.1.jar cp到hbase lib 下 同時把hbase中的所有的jar,cp到hive...
Hive之 hive與hadoop的聯絡
hive與hadoop呼叫圖 解析 1 提交sql 交給驅動 2 驅動編譯 解析相關的字段表資訊 3 去metastore查詢相關的資訊 返回字段表資訊 4 編譯返回資訊 發給驅動 5 驅動傳送乙個執行計畫 交給執行引擎 6 執行計畫 三種形式 metastore namenode metastor...