注意區分HBase與Hive之間的定義和區別

2021-08-24 17:41:33 字數 1948 閱讀 5198

apache hbase™是hadoop資料庫,是乙個分布式,可擴充套件的大資料儲存。

當您需要對大資料進行隨機,實時讀/寫訪問時,請使用apache hbase™,apache hbase是乙個開源的,分布式的,      版本化的非關聯式資料庫,

apache hive™資料倉儲軟體有助於使用sql讀取,編寫和管理駐留在分布式儲存中的大型資料集。可以將結                構 投 影到已存 儲的資料中。提供了命令列工具和jdbc驅動程式以將使用者連線到hive。離線處理。

hbase相關概念簡介

---------------------------------------

1.configuration描述:

hbase採用hadoop中的configuration物件來載入配置檔案資訊;

2.hmaster作用:

a.監控集群中所有的regionserver;

b.對元資料操作進行管理;

c.通常情況下,hmaster和namenode在乙個節點上;

d.管理regionserver的故障轉移和region分割槽;

表級操作:table (createtable, modifytable, removetable, enable, disable)

列簇操作:columnfamily (addcolumn, modifycolumn, removecolumn)

分割槽操作:region (move, assign, unassign)

負載均衡:loadbalancer

3.regionserver作用:

a.負責服務和管理region;

b.通常情況下,hregionserver和datanode在乙個節點上;

c.memstore刷盤操作;

d.wal(write-ahead-log):寫前日誌

資料操作:data (get, put, delete, next, etc.)

分割槽操作:region (splitregion, compactregion, etc.)

e.minor和major

4.memstore說明:

a.每乙個region可能存在乙個或多個memstore,每個memstore對應著當前表的當前區域的乙個列簇;

b.如果達到刷盤條件,寫入到磁碟中:storefile(hfile)

1.  hive是資料倉儲,在hadoop基礎上處理結構化資料;它駐留在hadoop之上,使用者對資料的統計、查詢和簡單的分析操作;

2.表模型儲存在database(關係型)中,處理的資料儲存在hdfs上;

4. hive不是:

a.關係型資料庫;

b.oltp

c.實時查詢和行級更新操作

5.儲存格式多種,可支援text,sequencefile,parquetfile,rcfile等;

6.只需要在建立表的時候告訴 hive 資料中的列分隔符和行分隔符,hive 就可以解析資料;

7.hive 中包含以下資料模型:db--資料庫、table--表,external table--外部表,partition--分割槽,8.bucket分桶;

9..db:是建立資料庫的字尾,是hdfs在$路徑下的乙個子目錄;

10.tables:是hdfs下的.db目錄下的乙個資料夾;

11.external table:與table類似,不過其資料存放位置可以在任意指定路徑

12.管理表:刪除表後,都刪除元資料和資料;

13.外部表:刪除表後,只刪除元年資料,不刪除hdfs下的資料;

14.partition--分割槽:在hdfs中表現為table目錄下的子目錄;

15.bucket:在hdfs中表現為同乙個表目錄下根據hash雜湊之後的多個檔案

16. hive分桶操作的效果:

把乙個檔案按照某個特定的字段和桶數 雜湊成多個檔案

hive與hbase是什麼關係?怎麼區分?

最近在學習和整理大資料hadoop的資料時,突然發現乙個簡單又複雜的問題 hive與hbase是什麼關係?怎麼區分?平時有接觸和使用過hive和hbase,hive的話主要用的是阿里雲的odps,hbase用的是hdp平台的開源版本,但是還沒有 對這兩個元件真正的系統的放在一起對比總結過,於是上網查...

Hive 五 hive與hbase整合

配置 hive 與 hbase 整合的目的是利用 hql 語法實現對 hbase 資料庫的增刪改查操作,基本原理就是利用兩者本身對外的api介面互相進行通訊,兩者通訊主要是依靠hive hbase handler.jar工具類。但請注意 使用hive操作hbase中的表,只是提供了便捷性,前面章節已...

Hive篇 Hive與Hbase整合

一 前述 hive會經常和hbase結合使用,把hbase作為hive的儲存路徑,所以hive整合hbase尤其重要。二 具體步驟 hive和hbase同步 1 把hive hbase handler 1.2.1.jar cp到hbase lib 下 同時把hbase中的所有的jar,cp到hive...