如果只想刪除某一分割槽的資料,請使用以下命令:
> alter table t_bz drop partition (dt='2014-07-23');
如何保證t_bz表裡面的資料每天都是新增,可以使用以下命令:
t_bz 是目標資料表,t_bz_tmp 是一張臨時表,後者的用來存放每天新增的資料。
每天產生的資料放入臨時表中使用load:
load data local inpath '/home/test/log.csv' overwrite into table t_bz_tmp;
insert into table t_bz partition(dt) select logid,userid,clientversion, actiontime,dt from t_bz_tmp where (dt = date_format(actiontime,' yyyy-mm-dd' ));
dt的內容是"2014-08-05" 這樣的,actiontime的 「2014-08-05 02:23:11」
通過hive的動態分割槽功能,保證t_bz的資料每天產生乙個新的分割槽,已經存在的分割槽資料都是不會發生變化的。
hive 表的分割槽
hive的資料查詢一般會掃瞄整個表,當表資料太大時,就會消耗些時間,有時候我們只需要對部分資料感興趣,所以hive引入了分割槽的概念 hive的表分割槽區別於一般的分布式分割槽 hash分割槽,範圍分割槽,一致性分割槽 hive的分割槽是比較簡單的。他是根據hive的表結構,分割槽的字段設定將資料按...
hive表分割槽
hive對錶有分割槽的功能。hive根據表的列屬性值 諸如日期,城市 部門對錶進行分割槽 使用分割槽,能夠很容易查詢 到資料的一部分。表或分割槽被分為 buckets 桶 以便為資料 提供額外的資料結構,該資料結構被 用於提公升 查詢的有效性。buckets 桶 的工作依賴於表中某個列的 雜湊函式值...
Hive 表分割槽
基本知識 hadoop fs rmr hdfs hdfs hadoop fs put user hive warehouse data.txt hdfs hdfs data.txt 建立分割槽表 外部表 create external table if not exists employee id ...