hive分割槽表快速複製

2021-10-08 21:23:34 字數 3813 閱讀 9571

drop table if exists dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian;

create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian like dwt.dwt_activity_auction_house_activity_sale_full_1d;

hive> show create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian;

okcreate table `dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian`(

`activity_sale_id` bigint comment '拍賣會拍品資訊主鍵id', 

`activityid` bigint comment '拍賣會活動id', 

`userinfoid` bigint comment '拍賣行id', 

`lot` int comment 'lot號', 

`title` string comment '標題', 

`bidbzj` bigint comment '保證金', 

`increase` bigint comment '加價幅度', 

`startprize` bigint comment '起拍價', 

`min_referenceprice` bigint comment '最小估值', 

`max_referenceprice` bigint comment '最大估值', 

`category` int comment '分類', 

`seccategory` int comment '二級分類', 

`seccategory_template` string comment '發拍模板', 

`content` string comment '拍品詳情', 

`illustration` string comment '拍品說明', 

`state` int comment '0:草稿;1-待審核;2-審核通過;3-審核駁回;4-已上拍;5-已隱藏;6-已下架', 

`upload_time` string comment '上拍時間', 

`sale_id` bigint comment '拍品id,sale表id', 

`end_time` string comment '截拍時間', 

`open_time` string comment '開拍時間', 

`sale_status` int comment '拍品狀態: -1:unsold 1:等待支付保證金 2:sale 3:deal', 

`enable_return` int comment '是否包退 0-不包退;1-包退', 

`express_fee` int comment '是否包郵 0-不包郵;1-包郵', 

`last_edit_username` string comment '最後編輯人記錄', 

`last_edit_time` string comment '最後編輯時間', 

`reject_reason` string comment '拒絕原因', 

`sort_num` bigint comment '排序值', 

`is_del` int comment '是否刪除', 

`create_time` string comment '建立時間', 

`update_time` string comment '更新時間')

partitioned by ( 

`dt` string)

row format serde 

'org.apache.hadoop.hive.ql.io.orc.orcserde' 

stored as inputformat 

'org.apache.hadoop.hive.ql.io.orc.orcinputformat' 

outputformat 

'org.apache.hadoop.hive.ql.io.orc.orcoutputformat'

location

'/usr/hive/warehouse/dwt.db/dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian'

tblproperties (

time taken: 0.903 seconds, fetched: 44 row(s)

跟原始表一模一樣,有分割槽,就是沒有資料。

hadoop fs -cp /usr/hive/warehouse/dwt.db/dwt_activity_auction_house_activity_sale_full_1d/* /usr/hive/warehouse/dwt.db/dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian/
msck repair table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian;
select dt,count(*)

from dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian

group by dt;

select dt,count(*)

from dwt.dwt_activity_auction_house_activity_sale_full_1d

group by dt;

以上步驟3、4也可以通過動態分割槽資料插入來做

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table ds_parttion partition(state='china',ct)

select id ,city from mytest_tmp2_p;

set hive.exec.dynamici.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table ds_parttion partition(state,ct)

select id ,country,city from mytest_tmp2_p;

set hive.exec.dynamic.partition =true(預設false),表示開啟動態分割槽功能

set hive.exec.dynamic.partition.mode = nonstrict(預設strict),表示允許所有分割槽都是動態的,否則必須有靜態分割槽字段

set hive.exec.max.dynamic.partitions.pernode=100

set hive.exec.max.dynamic.partitions =1000

set hive.exec.max.created.files =10000 (預設) 全域性可以建立的最大檔案個數,超出報錯。

Hive中怎麼快速複製分割槽表

舉個栗子,比如我現在要將表a遷移為表b,以下步驟 建立乙個結構相同的表 create table tmp.b like tmp.a 這樣我們就建立了乙個和表a結構完全一模一樣的表b,但是裡頭是沒人任務資料的,因為create like只複製表結構,不複製資料,複製資料需要操作hdfs。遷移hdfs檔...

hive 分割槽表

partitioned by create table tb name name string partitioned by age int row format delimited fields terminated by t load data local inpath file path in...

hive分割槽表

partition對應於資料庫的 partition 列的密集索引 在 hive 中,表中的乙個 partition 對應於表下的乙個目錄,所有的 partition 的資料都儲存在對應的目錄中 例如 test表中包含 date 和 city 兩個 partition 則對應於date 201302...