Hive的體系結構

2021-08-08 02:54:35 字數 1497 閱讀 7735

--hadoop:用hdfs進行儲存,利用mapreduce進行計算。

--元資料儲存(metastore):通常是儲存在關聯式資料庫中。

hive的安裝有三種模式:嵌入模式、本地模式、遠端模式

1)嵌入模式:

--元資料資訊被儲存在hive自帶的derby資料庫中。

--只允許建立乙個連線

--多用於demo(演示)

2)本地模式:

--元資訊被儲存在mysql資料庫中。

--mysql資料庫與hive執行在同一臺物理機器上。

--多用於開發和測試

3)遠端模式:

--元資訊被儲存在mysql資料庫中。

--mysql資料庫與hive執行不在同一臺物理機器上。

--多用於實際的生產執行環境。

hive和hadoop之間的工作流程:

下圖描述了hive 和hadoop之間的工作流程。

step no.操作1

execute queryhive介面,如命令列或web ui傳送查詢驅動程式(任何資料庫驅動程式,如jdbc,odbc等)來執行。

2get plan在驅動程式幫助下

查詢編譯器,分析查詢檢查語法和查詢計畫或查詢的要求。 3

get metadata編譯器傳送元資料請求到metastore(任何資料庫)。

4send metadatametastore傳送元資料,以編譯器的響應。

5send plan編譯器檢查要求,並重新傳送計畫給驅動程式。到此為止,查詢解析和編譯完成。

6execute plan驅動程式傳送的執行計畫到執行引擎。

7execute job在內部,執行作業的過程是乙個mapreduce工作。執行引擎傳送作業給jobtracker,在名稱節點並把它分配作業到tasktracker,這是在資料節點。在這裡,查詢執行mapreduce工作。

7.1metadata ops與此同時,在執行時,執行引擎可以通過metastore執行元資料操作。

8fetch result執行引擎接收來自資料節點的結果。

9send results執行引擎傳送這些結果值給驅動程式。

10send results驅動程式將結果傳送給hive介面。

hive體系結構

使用者介面 包括 cli,client,wui 元資料儲存 通常是儲存在關聯式資料庫如 mysql,derby 中。直譯器 編譯器 優化器 執行器。hadoop 用 hdfs 進行儲存,利用 mapreduce 進行計算。client 是 hive 的客戶端,使用者連線至 hive server。在...

mysql 體系結構 了解MySQL體系結構

mysql 資料庫體系結構圖 mysql 由以下幾部分組成 1 connectors 不同語言中與 sql 的互動 show variables like connection variable name value character set connection utf8 collation c...

簡述mysql體系結構 MySQL體系結構

一 mysql登入方式 一 tcp ip方式 遠端 本地 mysql uroot poldboy123 h 10.0.0.51 p3306 二 socket方式 mysql uroot poldboy123 s tmp mysql.sock 二 例項介紹 例項 mysqld後台守護程序 主線程 ma...