Hbase和Hive在大資料架構中處在不同位置

2022-09-06 19:03:10 字數 731 閱讀 5335

先放結論:hbase和hive在大資料架構中處在不同位置,hbase主要解決實時資料查詢問題,hive主要解決資料處理和計算問題,一般是配合使用。

一、區別:

hbase: hadoop database 的簡稱,也就是基於hadoop資料庫,是一種nosql資料庫,主要適用於海量明細資料(十億、百億)的隨機實時查詢,如日誌明細、交易清單、軌跡行為等。

hive:hive是hadoop資料倉儲,嚴格來說,不是資料庫,主要是讓開發人員能夠通過sql來計算和處理hdfs上的結構化資料,適用於離線的批量資料計算。

通過元資料來描述hdfs上的結構化文字資料,通俗點來說,就是定義一張表來描述hdfs上的結構化文字,包括各列資料名稱,資料型別是什麼等,方便我們處理資料,當前很多sql on hadoop的計算引擎均用的是hive的元資料,如spark sql、impala等;

基於第一點,通過sql來處理和計算hdfs的資料,hive會將sql翻譯為mapreduce來處理資料;

二、關係

在大資料架構中,hive和hbase是協作關係,資料流一般如下圖:

通過etl工具將資料來源抽取到hdfs儲存;

通過hive清洗、處理和計算原始資料;

hive清洗處理後的結果,如果是面向海量資料隨機查詢場景的可存入hbase

資料應用從hbase查詢資料

大資料 Hive與HBase

hive hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的sql查詢功能。hbase hbase是hadoop的資料庫,乙個分布式 可擴充套件 大資料的儲存。hbase和hive在大資料架構中處在不同位置,hbase主要解決實時資料查詢問題,hiv...

大資料技術Hbase和Hive詳解

大資料技術hbase和hive詳解,今天給大家介紹一下關於零基礎學習大資料之hbase和hive是多麼重要的技術,那麼兩者有什麼區別呢?下面我們一起來看一下吧。apachehive是乙個構建在hadoop基礎設施之上的資料倉儲。通過hive可以使用hql語言查詢存放在hdfs上的資料。hql是一種類...

大資料雜談之 HIVE和HBASE區別

1.兩者分別是什麼?apache hive是乙個構建在hadoop基礎設施之上的資料倉儲。通過hive可以使用hql語言查詢存放在hdfs上的資料。hql是一種類sql語言,這種語言最終被轉化為map reduce.雖然hive提供了sql查詢功能,但是hive不能夠進行互動查詢 因為它只能夠在ha...