Hive工作流程

2021-09-10 03:43:38 字數 456 閱讀 5404

1.通過客戶端提交一條hql語句

2.通過complier(編譯元件)對hql進行詞法分析、語法分析。在這一步,編譯2器要知道此hql語句到底要操作哪張表

3.去元資料庫找錶資訊

4.得到資訊

5.complier編譯器提交hql語句分析方案。

6-1.executor執行器收到方案後,執行方案(ddl過程)。在這裡注意,執行器在執行方案時,會判斷:如果當前方案不涉及到mr元件,比如為表新增分割槽資訊、比如字串操作等,比如簡單的查詢操作等,此時就會直接和元資料庫互動,然後去hdfs上去找具體資料。如果方案需要轉化成mr job,則會將job提交給hadoop的jobtracker。

6-2.mr job完成,並且將執行結果寫入到hdfs上

6-3.執行器和hdfs互動,獲取結果檔案資訊。

7.如果客戶端提交hql語句是帶有查詢結果性的,則會發生:7-8-9步,完成結果的查詢。

Hive 的工作流程

1.執行查詢操作 execute query 命令列或web ui之類的hive介面將查詢傳送給driver 任何資料庫驅動程式,如jdbc odbc等 以執行。2.獲取計畫任務 get plan driver借助查詢編譯器解析查詢,檢查語法和查詢計畫或查詢需求 3.獲取元資料資訊 get meta...

Hive筆記四 Hive的元件和工作流程

1 元件 元儲存 metastore 儲存 系統目錄以及關於表 列 分割槽等的元資料 的元件。驅動 driver 控制 hiveql 生命週期的元件,當 hiveql 查詢穿過 hive時。該驅動管理著會話控制代碼以及任何會話的統計。查詢編譯器 query compiler 是乙個元件,將hiveq...

Struts工作流程

文章分類 招聘求職 乙個使用者的請求是通actionservlet來處理和 的。那麼,actionservlet如何決定把使用者請求 給哪個action物件呢?這就需要一些描述使用者請求路徑和action衍射關係的配置資訊了。在struts中,這些配置對映資訊都儲存在特定的xml檔案struts c...