HIVE 表分割槽表分桶表

hive中表

-------------------

1.managed table

託管表。

刪除表時，資料也刪除了。

2.external table

外部表。

刪除表時，資料不刪。

hive命令

----------------

//建立表,external 外部表

$hive>create external table if not exists t2(id int,name string,age int)

comment 'xx' row format delimited fields terminated by ',' stored as textfile ;

//檢視表資料

$hive>desc t2 ;

$hive>desc formatted t2 ;

//載入資料到hive表

$hive>load data local inpath '/home/centos/customers.txt' into table t2 ; //local上傳檔案

$hive>load data inpath '/user/centos/customers.txt' [overwrite] into table t2 ; //移動檔案

//從hive表匯出資料

$hive>insert overwrite local directory '/opt/hive-export/student.txt' row format delimited fields terminated by '\t' select * from student; ###匯入本地linux

$hive>insert overwrite directory '/*****/student2.txt' row format delimited fields terminated by '\t' select * from student; ###匯入hdfs

$root hive>bin/hive -e 'select * from default.student' >/opt/hive-export/student3.txt ###匯入本地linux

######export匯出 import 匯入成對使用########

//複製表

mysql>create table tt as select * from users ; //攜帶資料和表結構

mysql>create table tt like users ; //不帶資料，只有表結構

hive>create table tt as select * from users ;

hive>create table tt like users ;

//count()查詢要轉成mr

$hive>select count(*) from t2 ;

$hive>select id,name from t2 ;

//$hive>select * from t2 order by id desc ; //mr

//啟用/禁用表

$hive>alter table t2 enable no_drop; //不允許刪除

$hive>alter table t2 disable no_drop; //允許刪除

//分割槽表,優化手段之一，從目錄的層面控制搜尋資料的範圍。

//建立分割槽表.

$hive>create table t3(id int,name string,age int) partitioned by (year int, month int) row format delimited fields terminated by ',' ;

//顯式表的分割槽資訊

$hive>show partitions t3;

//新增分割槽,建立目錄

$hive>alter table t3 add partition (year=2014, month=12);

//刪除分割槽

hive>alter table t3 drop if exists partition (year=2014, month=11);

//分割槽結構

hive>/user/hive/warehouse/mydb2.db/t3/year=2014/month=11

hive>/user/hive/warehouse/mydb2.db/t3/year=2014/month=12

//向分割槽表中插入資料

hive> insert into table t3 partition(year=2014,month=11) values (******);

//載入資料到分割槽表

hive>load data local inpath '/home/centos/customers.txt' into table t3 partition(year=2014,month=11);

//建立桶表

$hive>create table t4(id int,name string,age int) clustered by (id) into 3 buckets row format delimited fields terminated by ',' ;

******

clustered by (m) into n buckets 按照m欄位分成n個桶

row format delimited fields terminated by ',' 用「，」進行分行

******

//載入資料不會進行分桶操作

$hive>load data local inpath '/home/centos/customers.txt' into table t4 ;

//查詢t3表資料插入到t4中。

$hive>insert into t4 select id,name,age from t3 ;

//桶表的數量如何設定?

//評估資料量，保證每個桶的資料量block的2倍大小。

HIVE 表分割槽表分桶表

Hive分割槽表與分桶

hive表型別桶表分割槽表

Hive 中內部表外部表，分割槽表，分桶表

HIVE 表 分割槽表 分桶表

Hive分割槽表與分桶

hive表型別 桶表 分割槽表

Hive 中內部表 外部表，分割槽表，分桶表

相關推薦

HIVE 表分割槽表分桶表

hive表型別桶表分割槽表

Hive 中內部表外部表，分割槽表，分桶表