2018-05-03 12:01大資料
分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料，就是乙個分割槽。這樣查詢時使用分割槽列進行過濾，只需根據列值直接掃瞄對應目錄下的資料，不掃瞄其他不關心的分割槽，快速定位，提高查詢效率。分動態和靜態分割槽兩種：
1. 靜態分割槽：若分割槽的值是確定的，那麼稱為靜態分割槽。新增分割槽或者是載入分割槽資料時，已經指定分割槽名。
create table if not exists day_part1(
uid int,
uname string
partitioned by(year int,month int)
row format delimited fields terminated by '\t'
##載入資料指定分割槽
load data local inpath '/root/desktop/student.txt' into table day_part1 partition(year=2017,month=04);
##新增分割槽指定分割槽名
alter table day_part1 add partition(year=2017,month=1) partition(year=2016,month=12);
1. 動態分割槽：分割槽的值是非確定的，由輸入資料來確定
hive.exec.dynamic.partition=true :是否允許動態分割槽
hive.exec.dynamic.partition.mode=strict ：分割槽模式設定
strict：最少需要有乙個是靜態分割槽
nostrict：可以全部是動態分割槽
hive.exec.max.dynamic.partitions=1000 ：允許動態分割槽的最大數量
2.2 動態分割槽的操作
##建立臨時表
create table if not exists tmp(
uid int,
commentid bigint,
recommentid bigint,
year int,
month int,
day int
row format delimited fields terminated by '\t';
##載入資料
load data local inpath '/root/desktop/comm' into table tmp;
##建立動態分割槽表
create table if not exists dyp1(
uid int,
commentid bigint,
recommentid bigint
partitioned by(year int,month int,day int)
row format delimited fields terminated by '\t'
##嚴格模式
insert into table dyp1 partition(year=2016,month,day)
select uid,commentid,recommentid,month,day from tmp;
##非嚴格模式
##設定非嚴格模式動態分割槽
set hive.exec.dynamic.partition.mode=nostrict;
##建立動態分割槽表
create table if not exists dyp2(
uid int,
commentid bigint,
recommentid bigint
partitioned by(year int,month int,day int)
row format delimited fields terminated by '\t';
##為非嚴格模式動態分割槽載入資料
insert into table dyp2 partition(year,month,day)
select uid,commentid,recommentid,year,month,day from tmp;
3.分割槽注意細節
(1)、盡量不要是用動態分割槽，因為動態分割槽的時候，將會為每乙個分割槽分配reducer數量，當分割槽數量多的時候，reducer數量將會增加，對伺服器是一種災難。
(2)、動態分割槽和靜態分割槽的區別，靜態分割槽不管有沒有資料都將會建立該分割槽，動態分割槽是有結果集將建立，否則不建立。
(3)、hive動態分割槽的嚴格模式和hive提供的hive.mapred.mode的嚴格模式。
hive提供我們乙個嚴格模式：為了阻止使用者不小心提交惡意hql
hive.mapred.mode=nostrict : strict
如果該模式值為strict，將會阻止以下三種查詢：
(1)、對分割槽表查詢，where中過濾字段不是分割槽字段。
(2)、笛卡爾積join查詢，join查詢語句，不帶on條件 或者 where條件。
(3)、對order by查詢，有order by的查詢不帶limit語句。
HIVE 動態分割槽與靜態分割槽
hive分割槽，實際上是通過乙個路徑來標識的，而不是在物理資料中。比如每天的資料，可能分割槽是pt 20121023這樣，那麼路徑中它就會變成 hdfs path pt 20121023 data files。通過路徑來標識的好處是，如果我們需要取特定分割槽的資料，只需要把這個路徑下的資料取出來就可...
HIVE分割槽，靜態分割槽，動態分割槽
分割槽可以大大提公升hive的效能，這裡就要提到數倉的分層 原始資料層，儲存原始收集的資料 數倉明細層，裡面做的是轉換和分析，裡面包含部分的資料清洗的過程 數倉服務層，對外業務的處理，如維度轉 鍵 身份證清洗 會員註冊 清晰 字段合併 空值處理 髒資料處理 ip清晰轉換等 最終業務層 適合做增量表，...
Hive 動態分割槽 靜態分割槽
本文 參考 hive預設是靜態分割槽。但是有時候可能需要動態建立不同的分割槽來區分不同的分類。hive中建立分割槽表沒有什麼複雜的分割槽型別 範圍分割槽 列表分割槽 hash分割槽 混合分割槽等 分割槽列也不是表中的乙個實際的字段，而是乙個或者多個偽列。意思是說在表的資料檔案中實際上並不儲存分割槽列...