Hive學習 一 Hive簡介和架構

2021-09-28 01:41:54 字數 628 閱讀 1119

hive : 資料倉儲。

hive:直譯器,編譯器,優化器等。

hive 執行時,元資料儲存在關係型資料庫裡面。

(1)使用者介面主要有三個:cli,client 和 wui。其中最常用的是cli,cli啟動的時候,會同時啟動乙個hive副本。client是hive的客戶端,使用者連線至hive server。在啟動 client模式的時候,需要指出hive server所在節點,並且在該節點啟動hive server。 wui是通過瀏覽器訪問hive。   

(2)hive將元資料儲存在資料庫中,如mysql、derby。hive中的元資料報括表的名字,表的列和分割槽及其屬性,表的屬性(是否為外部表等),表的資料所在目錄等。   

(3)直譯器、編譯器、優化器完成hql查詢語句從詞法分析、語法分析、編譯、優化以及查詢計畫的生成。生成的查詢計畫儲存在hdfs中,並在隨後有mapreduce呼叫執行。   

(4)hive的資料儲存在hdfs中,大部分的查詢、計算由mapreduce完成(包含*的查詢,比如select * from tbl不會生成mapredcue任務)。

Hive學習筆記 簡介

大資料技術 傳輸 儲存 計算 查詢 hive 由facebook開源用於解決海量結構化日誌的資料統計。hive是基於hadoop的乙個資料倉儲工具 hive是為資料倉儲而設計的,hive本身不儲存資料,提供一種管理方式 用來進行資料提取 轉化 載入,可以將結構化的資料檔案對映為一張表,並提供類sql...

Hadoop學習之Hive簡介

1.hive的基本架構 2.hive的資料儲存 例如 tbl pv 表中包含 ds 和 city 兩個 partition,則對應於 ds 20090801,ctry us 的 hdfs 子目錄為 wh tbl pv ds 20090801 ctry us 對應於 ds 20090801,ctry ...

hive 簡介 啟動

1.簡介 將結構化的資料檔案,對映為一張表,提供類sql查詢 hql 儲存格式可以支援 text,sequencefile,parquetfile,rcfile等。其中sequencefile是hadoop中的一種檔案格式,內容以序列化的kv物件來組織。外部表 建立時,只記錄路徑,資料位置不會改變。...