hive分桶表join Hive分桶表

測試資料

95001,李勇,男,20,cs

95002,劉晨,女,19,is

95003,王敏,女,22,ma

95004,張立,男,19,is

95005,**,男,18,ma

95006,孫慶,男,23,cs

95007,易思玲,女,19,ma

95008,李娜,女,18,cs

95009,夢圓圓,女,18,ma

95010,孔小濤,男,19,cs

95011,包小柏,男,18,ma

95012,孫花,女,20,cs

95013,馮偉,男,21,cs

95014,王小麗,女,19,cs

95015,王君,男,18,ma

95016,錢國,男,21,ma

95017,王風娟,女,18,is

95018,王一,女,19,is

95019,邢小麗,女,19,is

95020,趙錢,男,21,is

95021,周二,男,17,ma

95022,鄭明,男,20,ma

建立分桶表

drop table stu_buck;

create table stu_buck(sno int,sname string,*** string,sage int,sdept string)

clustered by(sno) //根據sno分桶

sorted by(sno desc)

into 4 buckets

row format delimited

fields terminated by ',';

設定變數,設定分桶為true, 設定reduce數量是分桶的數量個數

set hive.enforce.bucketing = true;

set mapreduce.job.reduces=4;

載入資料

load data local inpath '/mnt/hgfs/share_folder/hivedata/students.txt' into table stu_buck;

loading data to table default.stu_buck

table default.stu_buck stats: [numfiles=1, totalsize=526]

檢查剛剛載入的資料

select * from stu_buck;

ok95001 李勇男 20 cs

95002 劉晨女 19 is

95003 王敏女 22 ma

95004 張立男 19 is

95005 ** 男 18 ma

95006 孫慶男 23 cs

95007 易思玲女 19 ma

95008 李娜女 18 cs

95009 夢圓圓女 18 ma

95010 孔小濤男 19 cs

95011 包小柏男 18 ma

95012 孫花女 20 cs

95013 馮偉男 21 cs

95014 王小麗女 19 cs

95015 王君男 18 ma

95016 錢國男 21 ma

95017 王風娟女 18 is

95018 王一女 19 is

95019 邢小麗女 19 is

95020 趙錢男 21 is

95021 周二男 17 ma

95022 鄭明男 20 ma

建立測試資料表

> create table t_p(sno int,sname string)

row format delimited fields terminated by ',';

//結合mapreduce。map輸出的資料都有分割槽的概念，分割槽的時候有乙個根據key來partionar， cluster by即指定key是根據哪個欄位來排序，則reduce拿到的資料就是hashkey%bucket的個數，形成bucket個數的檔案，sort by:每個bucket的檔案內部資料排序

distribute by指定分割槽字段 sort by：指定排序字段

select sno,sname from stu_buck cluster by (sno);

ok95001 李勇

95002 劉晨

95003 王敏

95004 張立

95005 **

95006 孫慶

95007 易思玲

95008 李娜

95009 夢圓圓

95010 孔小濤

95011 包小柏

95012 孫花

95013 馮偉

95014 王小麗

95015 王君

95016 錢國

95017 王風娟

95018 王一

95019 邢小麗

95020 趙錢

95021 周二

95022 鄭明

//只排序

select sno,sname from stu_buck sort by (sno);

ok95001 李勇

95002 劉晨

95003 王敏

95004 張立

95005 **

95006 孫慶

95007 易思玲

95008 李娜

95009 夢圓圓

95010 孔小濤

95011 包小柏

95012 孫花

95013 馮偉

95014 王小麗

95015 王君

95016 錢國

95017 王風娟

95018 王一

95019 邢小麗

95020 趙錢

95021 周二

95022 鄭明

select sno,sname from stu_buck distribute by (sno) sort by (sno);

ok95001 李勇

95002 劉晨

95003 王敏

95004 張立

95005 **

95006 孫慶

95007 易思玲

95008 李娜

95009 夢圓圓

95010 孔小濤

95011 包小柏

95012 孫花

95013 馮偉

95014 王小麗

95015 王君

95016 錢國

95017 王風娟

95018 王一

95019 邢小麗

95020 趙錢

95021 周二

95022 鄭明

載入分桶資料到空表t_p

insert into table t_p

select sno,sname from stu_buck cluster by (sno);

載入完成後查詢新錶資料

//hive表預設目錄

dfs -ls /user/hive/warehouse/;

dfs -cat /user/hive/warehouse/t_p/000000_0;//應該也是4個同樣的分桶

注：1、order by 輸出資料一定全域性有序，因此只有乙個reducer(哪怕設定了 hive> set mapredce.job.reduces=4 執行sql時仍會被重置為1個)，會導致當輸入規模較大時，需要較長的計算時間。

2、sort by不是全域性排序，其在資料進入reducer前完成排序。因此，如果用sort by進行排序，並且設定mapred.reduce.tasks>1，則sort by只保證每個reducer的輸出有序，不保證全域性有序。

3、distribute by(字段)根據指定的字段將資料分到不同的reducer，且分發演算法是hash雜湊。

4、(cluster by欄位) 除了具有distribute by的功能外，還會對該字段進行排序。因此，如果分桶和sort欄位是同乙個時，此時，cluster by = distribute by + sort by

分桶表的作用：最大的作用是用來提高join操作的效率；

(思考這個問題：select a.id,a.name,b.addr from a join b on a.id = b.id;

如果a表和b表已經是分桶表，而且分桶的字段是id欄位做這個join操作時，還需要全表做笛卡爾積嗎？)

如果兩個表的分桶個數不一致：那麼分桶聯查就沒意義，但是為倍數的時候還是有意義的

insert overwrite table student_buck

select * from student cluster by(sno) sort by(sage); 報錯,cluster 和 sort 不能共存

開會往建立的分通表插入資料(插入資料需要是已分桶, 且排序的)

可以使用distribute by(sno) sort by(sno asc) 或是排序和分桶的字段相同的時候使用cluster by(字段)

注意使用cluster by 就等同於分桶+排序(sort)

insert into table stu_buck

select sno,sname,***,sage,sdept from student distribute by(sno) sort by(sno asc);

insert overwrite table stu_buck

select * from student distribute by(sno) sort by(sno asc);

insert overwrite table stu_buck

select * from student cluster by(sno);

hive分桶表join Hive分桶表

hive 修改分桶數分桶表 Hive中的分桶

hive分桶表的學習

HIVE 表分割槽表分桶表

hive分桶表join Hive分桶表

hive 修改分桶數 分桶表 Hive中的分桶

hive分桶表的學習

HIVE 表 分割槽表 分桶表

相關推薦

hive 修改分桶數分桶表 Hive中的分桶

HIVE 表分割槽表分桶表