Hive歸檔分割槽表

2021-10-02 08:10:22 字數 811 閱讀 1438

hive可以把分割槽表的分割槽歸檔成har檔案，也可以把歸檔完的分割槽進行解壓。

以下步驟基於hadoop2.8.5和hive2.3.5

1、把hadoophome/share/hadoop/tools/lib/hadoop-archives-2.8.5.jar放到hivehome/lib目錄下

2、在hivehome/conf/hive-site.xml中使能分割槽歸檔

hive.archive.enabled


true
3、對於某個分割槽表，分割槽歸檔命令如下

alter table employees archive partition(country='us');
然後可以在hive中檢視壓縮結果

dfs -ls  /user/hive/warehouse/employees/country=us
結果如下，可以看到在分割槽目錄下生成了data.har檔案，就是歸檔檔案

4、對於歸檔後的分割槽表，解壓的命令如下所示

alter table employees unarchive partition(country='us');
然後可以在hive中檢視壓縮結果

dfs -ls  /user/hive/warehouse/employees/country=us
輸出如下

hive 分割槽表

partitioned by create table tb name name string partitioned by age int row format delimited fields terminated by t load data local inpath file path in...

hive分割槽表

partition對應於資料庫的 partition 列的密集索引 在 hive 中，表中的乙個 partition 對應於表下的乙個目錄，所有的 partition 的資料都儲存在對應的目錄中 例如 test表中包含 date 和 city 兩個 partition 則對應於date 201302...

hive 分割槽表

建立分割槽表的原因 單錶資料量隨著時間越來越大。為了避免全表掃瞄，引入分割槽。hive分割槽和mysql分割槽表的區別？hive分割槽使用表外字段，mysql使用表內字段。hive分割槽表細節？1.hive分割槽的字段是乙個偽欄位，它不會在表中真實存在，可以用來過濾查詢等 2.乙個表或者乙個分割槽可...