hive 的結構如圖所示，
主要分為以下幾個部分：
使用者介面主要有三個：cli，client 和 wui。其中最常用的是 cli，cli 啟動的時候，會同時啟動乙個 hive 副本。client 是 hive 的客戶端，使用者連線至 hive server。在啟動 client 模式的時候，需要指出 hive server 所在節點，並且在該節點啟動 hive server。 wui 是通過瀏覽器訪問 hive。
hive 將元資料儲存在資料庫中，如 mysql、derby。hive 中的元資料報括表的名字，表的列和分割槽及其屬性，表的屬性（是否為外部表等），表的資料所在目錄等。
直譯器、編譯器、優化器完成 hql 查詢語句從詞法分析、語法分析、編譯、優化以及查詢計畫的生成。生成的查詢計畫儲存在 hdfs 中，並在隨後有 mapreduce 呼叫執行。
hive 的資料儲存在 hdfs 中，大部分的查詢由 mapreduce 完成（包含 * 的查詢，比如 select * from tbl 不會生成 mapredcue 任務）。
hive 將元資料儲存在 rdbms 中，有三種模式可以連線到資料庫：
首先，hive 沒有專門的資料儲存格式，也沒有為資料建立索引，使用者可以非常自由的組織 hive 中的表，只需要在建立表的時候告訴 hive 資料中的列分隔符和行分隔符，hive 就可以解析資料。
其次，hive 中所有的資料都儲存在 hdfs 中，hive 中包含以下資料模型：table，external table，partition，bucket。
hive 中的 table 和資料庫中的 table 在概念上是類似的，每乙個 table 在 hive 中都有乙個相應的目錄儲存資料。例如，乙個表 pvs，它在 hdfs 中的路徑為：/wh/pvs，其中，wh 是在 hive-site.xml 中由 $ 指定的資料倉儲的目錄，所有的 table 資料（不包括 external table）都儲存在這個目錄中。
partition 對應於資料庫中的 partition 列的密集索引，但是 hive 中 partition 的組織方式和資料庫中的很不相同。在 hive 中，表中的乙個 partition 對應於表下的乙個目錄，所有的 partition 的資料都儲存在對應的目錄中。例如：pvs 表中包含 ds 和 city 兩個 partition，則對應於 ds = 20090801, ctry = us 的 hdfs 子目錄為：/wh/pvs/ds=20090801/ctry=us；對應於 ds = 20090801, ctry = ca 的 hdfs 子目錄為；/wh/pvs/ds=20090801/ctry=ca
buckets 對指定列計算 hash，根據 hash 值切分資料，目的是為了並行，每乙個 bucket 對應乙個檔案。將 user 列分散至 32 個 bucket，首先對 user 列的值計算 hash，對應 hash 值為 0 的 hdfs 目錄為：/wh/pvs/ds=20090801/ctry=us/part-00000；hash 值為 20 的 hdfs 目錄為：/wh/pvs/ds=20090801/ctry=us/part-00020
external table 指向已經在 hdfs 中存在的資料，可以建立 partition。它和 table 在元資料的組織上是相同的，而實際資料的儲存則有較大的差異。
Hive 隨談（五） Hive 優化
hive 針對不同的查詢進行了優化，優化可以通過配置進行控制，本文將介紹部分優化的策略以及優化控制選項。列裁剪 column pruning 在讀資料的時候，只讀取查詢中需要用到的列，而忽略其他列。例如，對於查詢 select a,b from t where e 10 其中，t 包含 5 個列 a...
大講台談hive（中篇）
hive 檔案儲存格式包括以下幾類 1 textfile 2 sequencefile 3 rcfile 4 orcfile 0.11以後出現 其中textfile為預設格式，建表時不指定預設為這個格式，匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理。sequencefile rcfile，o...
Hive系列 二 Hive基本環境安裝
由於之前的hadoop集群是用docker搭建的，所以後面整個大資料環境，本人都會採用docker構建，hive環境安裝需在之前的hadoop基礎上構建，參考文章如下 hadoop系列 一 docker部署hadoop集群 啟動docker，執行之前儲存的hadoop映象，進入容器內部，再按下面操作...