Hive 工作機制

2021-09-25 15:48:18 字數 458 閱讀 1102

hive 是乙個基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為乙個表,

並提供sql查詢功能,可將sql語句轉換為mapreduce任務進行。

優點:學習成本低、可以通過類sql語句快速實現mapreduce統計。

將清洗過的資料放入到hdfs中,就可以進行各種統計了

hive執行時,元資料資訊儲存在關係型資料庫裡面,如mysql,derby。hive中的元資料報括表的名字、表的列和分割槽及其屬性,表的屬性、表的資料所在目錄等。

hive的資料儲存在hdfs中,大部分的查詢計算由mapreduce完成。

可以在hive中建表

然後可使用sql語句查詢,每乙個sql語句都被hive的語法解析器解析,組裝成乙個mapreduce程式,然後提交給yarn,執行完成後可以把結果輸出出來,也可以把表寫到其他表裡。

hive利用hdfs儲存資料,利用mapreduce查詢資料

Hive工作模式

hive非互動模式 1 可以將hive執行的sql語句儲存到指令碼檔案中,通過 f選項指定指令碼檔案執行hive eg hive f script.sql 2 對於較短的sql語句,可以直接使用 e選項執行hive eg hive e select from table a 3 s選項 hive執行...

Hive工作原理

使用者提交查詢等任務給driver。編譯器獲得該使用者的任務plan。編譯器compiler根據使用者任務去metastore中獲取需要的hive的元資料資訊。編譯器compiler得到元資料資訊,對任務進行編譯,先將hiveql轉換為抽象語法樹,然後將抽象語法樹轉換成查詢塊,將查詢塊轉化為邏輯的查...

Hive工作原理

hdfs中儲存的是資料 hive只裝在一台機器上,hive只是乙個工具乙個客戶端,而且他的資料時儲存在hdfs中的,只要hive能讀取hdfs的資料,能和msql進行互動底層就能轉換成mr程式,mr程式交給yarn之後就進行分布式執行了 hive來處理hdfs中儲存的結構化的靜態化資料,這個資料可以...