Hive 的工作流程

2021-08-22 08:50:43 字數 875 閱讀 6738

1.(執行查詢操作)execute query

命令列或web ui之類的hive介面將查詢傳送給driver(任何資料庫驅動程式,如jdbc、odbc等)以執行。

2.(獲取計畫任務)get plan

driver借助查詢編譯器解析查詢,檢查語法和查詢計畫或查詢需求

3.(獲取元資料資訊)get metadata

編譯器將元資料請求傳送到metastore(任何資料庫)。

4.(傳送元資料)send metadata

metastore將元資料作為對編譯器的響應傳送出去。

5.(傳送計畫任務)send plan   

編譯器檢查需求並將計畫重新傳送給driver。到目前為止,查詢的解析和編譯已經完成

6.(執行計畫任務)execute plan

driver將執行計畫傳送到執行引擎。

7.(執行job任務)execute job

在內部,執行任務的過程是mapreduce job。執行引擎將job傳送到resourcemanager, 

resourcemanager位於name節點中,並將job分配給datanode中的nodemanager。在這裡,查詢執行mapreduce任務.

7.1.(元資料操作)metadata ops

在執行的同時,執行引擎可以使用metastore執行元資料操作。

8.(拉取結果集)fetch result

執行引擎將從datanode上獲取結果集;

9.(傳送結果集至driver)send results

執行引擎將這些結果值傳送給driver。

10.(driver將result傳送至inte***ce)send results

driver將結果傳送到hive介面

Hive工作流程

1.通過客戶端提交一條hql語句 2.通過complier 編譯元件 對hql進行詞法分析 語法分析。在這一步,編譯2器要知道此hql語句到底要操作哪張表 3.去元資料庫找錶資訊 4.得到資訊 5.complier編譯器提交hql語句分析方案。6 1.executor執行器收到方案後,執行方案 dd...

Hive筆記四 Hive的元件和工作流程

1 元件 元儲存 metastore 儲存 系統目錄以及關於表 列 分割槽等的元資料 的元件。驅動 driver 控制 hiveql 生命週期的元件,當 hiveql 查詢穿過 hive時。該驅動管理著會話控制代碼以及任何會話的統計。查詢編譯器 query compiler 是乙個元件,將hiveq...

DHCP的工作流程

1.dhcp 協議簡介 dhcp 全稱是 dynamic host configuration protocol 中文名為動態主機配置協議,它的前身是 bootp 它工作在 osi的應用層,是一種幫助計算機從指定的 dhcp 伺服器獲取它們的配置資訊的自舉協議。dhcp 使用客戶端 伺服器模式,請求...