hive分割槽，實際上是通過乙個路徑來標識的，而不是在物理資料中。比如每天的資料，可能分割槽是pt=20121023這樣，那麼路徑中它就會變成：/hdfs/path/pt=20121023/data_files。通過路徑來標識的好處是，如果我們需要取特定分割槽的資料，只需要把這個路徑下的資料取出來就可以了，不用掃瞄全部的資料。
[sql]view plain
copy
sethive.
exec
.dynamic
.partition=
true
; set
hive.
exec
.dynamic
.partition.mode=nonstrict;
然後**裡就可以這麼寫：
[sql]view plain
copy
insert
overwrite
table
tbl_name partition(pt, if_online)
select
field1, field2, ..., pt, if_online
from
tbl
where
***;
注意輸入欄位的最後面必須是動態分割槽字段。
看一下與靜態分割槽寫法的區別：
[sql]view plain
copy
insert
overwrite
table
tbl_name partition(pt=20121023, if_online=1)
select
field1, field2, ..., fieldn
from
tbl
where
***;
動態分割槽與靜態分割槽還有乙個細微的差別是，靜態分割槽一 定會建立分割槽，不管select語句的結果有沒有資料。而動態分割槽，只有在select結果的記錄數》0的時候，才會建立分割槽。因此在不同的業務場景下，可能會選擇不同的方案。
另外使用動態分割槽時需要注意的比較重要的一點是，動態分割槽會為每乙個分割槽分配reduce數。比如說你在指令碼上面寫了：set mapred.reduce.tasks=100;
並且有兩個分割槽：pt, if_online。如果結果集中pt=20121023，if_online=0/1，那麼它就會為pt=20121023/if_online=0，pt=20121023/if_online=1各分配100個reduce。也就是說，namenode會同時處理200個檔案的寫操作。這在分割槽值很多的情況下，會成為乙個災難，容易直接把namenode給搞掛掉，是非常危險的。因此使用動態分割槽時，一定要清楚地知道產生的動態分割槽值，並且合理地設定reduce數量。
HIVE分割槽，靜態分割槽，動態分割槽
分割槽可以大大提公升hive的效能，這裡就要提到數倉的分層 原始資料層，儲存原始收集的資料 數倉明細層，裡面做的是轉換和分析，裡面包含部分的資料清洗的過程 數倉服務層，對外業務的處理，如維度轉 鍵 身份證清洗 會員註冊 清晰 字段合併 空值處理 髒資料處理 ip清晰轉換等 最終業務層 適合做增量表，...
Hive 動態分割槽 靜態分割槽
本文 參考 hive預設是靜態分割槽。但是有時候可能需要動態建立不同的分割槽來區分不同的分類。hive中建立分割槽表沒有什麼複雜的分割槽型別 範圍分割槽 列表分割槽 hash分割槽 混合分割槽等 分割槽列也不是表中的乙個實際的字段，而是乙個或者多個偽列。意思是說在表的資料檔案中實際上並不儲存分割槽列...
Hive 分割槽之靜態與動態分割槽
hive 分割槽之動態靜態分割槽 hive 分割槽 盡量不要用動態分割槽，因為動態分割槽的時候，將會為每乙個分割槽分配reducer數量，當分割槽數量多的時候，reducer數量將會增加，對伺服器是一種災難。動態分割槽和靜態分割槽的區別，靜態分割槽不管有沒有資料都將會建立該分割槽，動態分割槽是有結果...