Impala儲存與分割槽

不多說，直接上乾貨！

hive的元資料儲存在/user/hadoop/warehouse

impala的內部表也在/user/hadoop/warehouse。

那兩者怎麼區分，看前面的第一列。

下面是impala對檔案的格式及壓縮型別的支援

• 新增分割槽方式

– 1、partitioned by 建立表時，新增該欄位指定分割槽列表

– 2、使用alter table 進行分割槽的新增和刪除操作

create table t_person(id int, name string, age int) partitioned by (type string
);alter table t_person add partition (***=『man'
);alter table t_person drop partition (***=『man'
);alter table t_person drop partition (***=『man『,type=『boss』);

• 分區內新增資料

insert into t_person partition (type='
boss
') values (1,』zhangsan』,18),(2,』lisi』,23
)insert into t_person partition (type='
coder
') values(3,wangwu』,22),(4,』zhaoliu』,28),(5,』tianqi』,24)

• 查詢指定分割槽資料

select id,name from t_person where type=『coder

進行資料分割槽將會極大的提高資料查詢的效率，尤其是對於當下大資料的運用，是一門不可或缺的知識。那資料怎麼建立分割槽呢？資料怎樣載入到分割槽

一、 impala/hive按state分割槽accounts

（1）示例：accounts是非分割槽表

通過以上方式建立的話，資料就存放在accounts目錄裡面。那麼，如果loudacre大部分對customer表的分析是按state來完成的？比如：

這種情況下如果資料量很大，為了避免全表掃瞄的發生，我們可以去建立分割槽。如果不建立分割槽的話，它會預設所有查詢不得不掃瞄目錄的所有檔案。建立分割槽按state將資料儲存到不同的子目錄，當按照「ny」的條件進行查詢的時候，它只會掃瞄到子目錄，下面我具體來看一下分割槽建立。

二、分割槽建立

（1）使用partitioned by來建立分割槽表

在這裡注意state是被刪除掉的，因為它作為分割槽字段，我們知道分割槽資料是不會出現在實際的檔案當中的，所以state作為分割槽欄位是不會出現在列當中的。換句話說，分割槽鍵就是乙個虛列，它是不會存在列當中的。那麼，如何去檢視我們分割槽的列呢？它會出現在我們的結構當中嗎？會的。

三、檢視分割槽列

使用describe顯示分割槽列，它會出現在結構最後一列，它是乙個虛列，並不是真實在資料中存在的列。

我們建立單個分割槽，但有時候會有巢狀分割槽，如何來處理呢？

四、建立巢狀分割槽：

建立好了分割槽，我們怎麼載入資料到分割槽呢？有兩種方式動態分割槽和靜態分割槽。動態分割槽是指impala/hive在載入的時候自動新增新的分割槽，資料基於列值儲存到正確的分割槽（子目錄）。而靜態分割槽需要我們通過add partition提前去定義分割槽的名稱，當載入資料的時候，指定儲存資料到哪個分割槽。那麼動態分割槽和靜態分割槽各有什麼特徵呢？後續為大家接著分享。

Impala儲存與分割槽

Impala 儲存資料時的分割槽操作

Impala資料處理（載入和儲存）

Impala核心元件與架構

Impala儲存與分割槽

Impala 儲存資料時的分割槽操作

Impala資料處理（載入和儲存）

Impala核心元件與架構

相關推薦