Hive分區分桶基本操作

重置hive

登入mysql

[root@m ~]# mysql -uroot -p1

drop

database hive;
create
database hive;
--修改資料庫編碼
alter
database
grant
allon hive.* to hive@'%' identified by
'1';
grant
allon hive.* to hive@localhost identified by
'1';
flush privileges;

[root@m ~]# hadoop fs -rm -r /user/hive/warehouse/*

[root@m ~]# hive

show tables;

--分割槽欄位和分桶字段暫時不要使用中文
--建立乙個分割槽表,分割槽字段使用的是假欄位(不必要定義為**字段)
create
table student(sid int, sname string)
partitioned by (sgender string)
row format delimited
fields terminated by
'-';
--從檔案載入資料
load data local inpath '/root/student'
into
table student partition (gender='man');
load data local inpath '/root/student'
into
table student partition (gender='woman');
--從分割槽表中查詢資料
select * from student where gender='man';
select * from student where gender='woman';
select * from student;
--建立乙個分割槽+分桶表
create
table bstudent(id int, name string)
partitioned by (gender string)
clustered by (id) sorted by (id asc) into
2 buckets
row format delimited fields terminated by
'-'stored as textfile;
--修改環境變數,強制開啟分桶
set hive.enforce.bucketing = true;
--向分區分桶表中插入資料
insert overwrite table bstudent partition (gender='man') select id,name from student where gender='man';
insert overwrite table bstudent partition (gender='woman') select id,name from student where gender='woman';
--從分區分桶表中抽樣查詢資料
select * from bstudent tablesample (bucket 1 out of
2on id);
--從分區分桶表中查詢所有資料
select * from bstudent;

Hive 分區分桶操作

在大資料中，最常用的一種思想就是分治，我們可以把大的檔案切割劃分成乙個個的小的檔案，這樣每次操作乙個小的檔案就會很容易了，同樣的道理，在hive當中也是支援這種思想的，就是我們可以把大的資料，按照每天，或者每小時進行切分成乙個個的小的檔案，這樣去操作小的檔案就會容易得多了。企業常見的分割槽規則 按天...

Hive分割槽 分桶

create table t user partition id int name string partitioned by country string row format delimited fields terminated by load data local inpath root h...

Hive分割槽 分桶

2 靜態分割槽 二 hive分桶 1.分割槽列的值將表劃分為乙個個的資料夾 2.查詢時語法使用 分割槽 列和常規列類似 3.查詢時hive會只從指定分割槽查詢資料，提高查詢效率 建立單級分割槽表 create table ifnot exists employee partition name st...