1.(執行查詢操作)execute query
命令列或web ui之類的hive介面將查詢傳送給driver(任何資料庫驅動程式,如jdbc、odbc等)以執行。
2.(獲取計畫任務)get plan
driver借助查詢編譯器解析查詢,檢查語法和查詢計畫或查詢需求
3.(獲取元資料資訊)get metadata
編譯器將元資料請求傳送到metastore(任何資料庫)。
4.(傳送元資料)send metadata
metastore將元資料作為對編譯器的響應傳送出去。
5.(傳送計畫任務)send plan
編譯器檢查需求並將計畫重新傳送給driver。到目前為止,查詢的解析和編譯已經完成
6.(執行計畫任務)execute plan
driver將執行計畫傳送到執行引擎。
7.(執行job任務)execute job
在內部,執行任務的過程是mapreduce job。執行引擎將job傳送到resourcemanager,
resourcemanager位於name節點中,並將job分配給datanode中的nodemanager。在這裡,查詢執行mapreduce任務.
7.1.(元資料操作)metadata ops
在執行的同時,執行引擎可以使用metastore執行元資料操作。
8.(拉取結果集)fetch result
執行引擎將從datanode上獲取結果集;
9.(傳送結果集至driver)send results
執行引擎將這些結果值傳送給driver。
10.(driver將result傳送至inte***ce)send results
driver將結果傳送到hive介面
Hive工作流程
1.通過客戶端提交一條hql語句 2.通過complier 編譯元件 對hql進行詞法分析 語法分析。在這一步,編譯2器要知道此hql語句到底要操作哪張表 3.去元資料庫找錶資訊 4.得到資訊 5.complier編譯器提交hql語句分析方案。6 1.executor執行器收到方案後,執行方案 dd...
Hive筆記四 Hive的元件和工作流程
1 元件 元儲存 metastore 儲存 系統目錄以及關於表 列 分割槽等的元資料 的元件。驅動 driver 控制 hiveql 生命週期的元件,當 hiveql 查詢穿過 hive時。該驅動管理著會話控制代碼以及任何會話的統計。查詢編譯器 query compiler 是乙個元件,將hiveq...
DHCP的工作流程
1.dhcp 協議簡介 dhcp 全稱是 dynamic host configuration protocol 中文名為動態主機配置協議,它的前身是 bootp 它工作在 osi的應用層,是一種幫助計算機從指定的 dhcp 伺服器獲取它們的配置資訊的自舉協議。dhcp 使用客戶端 伺服器模式,請求...