Hive的基本概念

2022-09-22 04:57:07 字數 832 閱讀 3090

hive是什麼

hive是基於hadoop的乙個資料倉儲工具,能夠將結構化的資料對映成為一張表,提供類sql的查詢

本質是轉化成mapreduce程式

為什麼使用hive

簡單容易上手

對實時性要求不高的時候使用

適合處理大資料

可以自定義函式

架構

由上圖可以看出一共由5個部分組成,mapreduce和hdfs可以歸屬於hadoop

client

meta store:表名、表所屬的資料庫(預設是default)、表的擁有者、列/分割槽字段、表的型別(是否是外部表)、表的資料所在目錄等

driver:

hadoop:hdfs用於儲存,mapreduce用於計算

執行機制

hive接收到sql語句,使用自己的driver並結合元資料,將sql翻譯成mapreduce,提交到hadoop中執行,最後將結果返回

hive和資料庫有哪些區別

資料儲存位置:hive是儲存在hdfs上面,而其他資料庫的儲存位置一般為磁碟

hive不支援資料的修改 比如insert

hive沒有索引

資料庫有自己的執行引擎,而hive是轉成mapreduce

資料規模,hive支援大資料

hive是建立在hadoop之上的,所以hadoop的可擴充套件性hive同樣擁有

HIVE 基本概念

hive架構 hive架構圖 hive與hadoop的關係 hive利用hdfs儲存資料,利用mapreduce查詢資料 hive與hadoop關係圖 hive的資料儲存 1 hive中所有的資料都儲存在 hdfs 中,沒有專門的資料儲存格式 可支援text,sequencefile,parquet...

Hive基本概念

什麼是hive 是乙個基於hadoop的資料倉儲工具,可以將結構化資料對映成一張資料表,並提供類sql的查詢功能。hive的意義是什麼 背景 hadoop是個好東西,但是學習難度大,成本高,坡度陡。意義 目的 降低程式設計師使用hadoop的難度。降低學習成本。hive可以對資料進行儲存與計算 儲存...

Hive基本概念

hive由facebook開源,用於解決海量結構化日誌的資料統計問題。hive是hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張表,並提供類sql查詢功能。其本至就是將hql轉化成mapreduce程式。缺點執行機制 hive通過使用者提供的一系列互動介面,接收使用者的指令 sql ...