--hadoop:用hdfs進行儲存,利用mapreduce進行計算。
--元資料儲存(metastore):通常是儲存在關聯式資料庫中。
hive的安裝有三種模式:嵌入模式、本地模式、遠端模式
1)嵌入模式:
--元資料資訊被儲存在hive自帶的derby資料庫中。
--只允許建立乙個連線
--多用於demo(演示)
2)本地模式:
--元資訊被儲存在mysql資料庫中。
--mysql資料庫與hive執行在同一臺物理機器上。
--多用於開發和測試
3)遠端模式:
--元資訊被儲存在mysql資料庫中。
--mysql資料庫與hive執行不在同一臺物理機器上。
--多用於實際的生產執行環境。
hive和hadoop之間的工作流程:
下圖描述了hive 和hadoop之間的工作流程。
step no.操作1
execute queryhive介面,如命令列或web ui傳送查詢驅動程式(任何資料庫驅動程式,如jdbc,odbc等)來執行。
2get plan在驅動程式幫助下
查詢編譯器,分析查詢檢查語法和查詢計畫或查詢的要求。 3
get metadata編譯器傳送元資料請求到metastore(任何資料庫)。
4send metadatametastore傳送元資料,以編譯器的響應。
5send plan編譯器檢查要求,並重新傳送計畫給驅動程式。到此為止,查詢解析和編譯完成。
6execute plan驅動程式傳送的執行計畫到執行引擎。
7execute job在內部,執行作業的過程是乙個mapreduce工作。執行引擎傳送作業給jobtracker,在名稱節點並把它分配作業到tasktracker,這是在資料節點。在這裡,查詢執行mapreduce工作。
7.1metadata ops與此同時,在執行時,執行引擎可以通過metastore執行元資料操作。
8fetch result執行引擎接收來自資料節點的結果。
9send results執行引擎傳送這些結果值給驅動程式。
10send results驅動程式將結果傳送給hive介面。
hive體系結構
使用者介面 包括 cli,client,wui 元資料儲存 通常是儲存在關聯式資料庫如 mysql,derby 中。直譯器 編譯器 優化器 執行器。hadoop 用 hdfs 進行儲存,利用 mapreduce 進行計算。client 是 hive 的客戶端,使用者連線至 hive server。在...
mysql 體系結構 了解MySQL體系結構
mysql 資料庫體系結構圖 mysql 由以下幾部分組成 1 connectors 不同語言中與 sql 的互動 show variables like connection variable name value character set connection utf8 collation c...
簡述mysql體系結構 MySQL體系結構
一 mysql登入方式 一 tcp ip方式 遠端 本地 mysql uroot poldboy123 h 10.0.0.51 p3306 二 socket方式 mysql uroot poldboy123 s tmp mysql.sock 二 例項介紹 例項 mysqld後台守護程序 主線程 ma...