hive是什麼
hive是基於hadoop的乙個資料倉儲工具,能夠將結構化的資料對映成為一張表,提供類sql的查詢
本質是轉化成mapreduce程式
為什麼使用hive
簡單容易上手
對實時性要求不高的時候使用
適合處理大資料
可以自定義函式
架構
由上圖可以看出一共由5個部分組成,mapreduce和hdfs可以歸屬於hadoop
client
meta store:表名、表所屬的資料庫(預設是default)、表的擁有者、列/分割槽字段、表的型別(是否是外部表)、表的資料所在目錄等
driver:
hadoop:hdfs用於儲存,mapreduce用於計算
執行機制
hive接收到sql語句,使用自己的driver並結合元資料,將sql翻譯成mapreduce,提交到hadoop中執行,最後將結果返回
hive和資料庫有哪些區別
資料儲存位置:hive是儲存在hdfs上面,而其他資料庫的儲存位置一般為磁碟
hive不支援資料的修改 比如insert
hive沒有索引
資料庫有自己的執行引擎,而hive是轉成mapreduce
資料規模,hive支援大資料
hive是建立在hadoop之上的,所以hadoop的可擴充套件性hive同樣擁有
HIVE 基本概念
hive架構 hive架構圖 hive與hadoop的關係 hive利用hdfs儲存資料,利用mapreduce查詢資料 hive與hadoop關係圖 hive的資料儲存 1 hive中所有的資料都儲存在 hdfs 中,沒有專門的資料儲存格式 可支援text,sequencefile,parquet...
Hive基本概念
什麼是hive 是乙個基於hadoop的資料倉儲工具,可以將結構化資料對映成一張資料表,並提供類sql的查詢功能。hive的意義是什麼 背景 hadoop是個好東西,但是學習難度大,成本高,坡度陡。意義 目的 降低程式設計師使用hadoop的難度。降低學習成本。hive可以對資料進行儲存與計算 儲存...
Hive基本概念
hive由facebook開源,用於解決海量結構化日誌的資料統計問題。hive是hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張表,並提供類sql查詢功能。其本至就是將hql轉化成mapreduce程式。缺點執行機制 hive通過使用者提供的一系列互動介面,接收使用者的指令 sql ...