hive分割槽表與資料關聯的三種方式

2022-05-24 17:57:12 字數 1281 閱讀 7026

3.把資料直接上傳到分割槽目錄上,讓分割槽表和資料產生關聯的三種方式:

(1)方式一:上傳資料後修復

上傳資料

hive (db_614)> dfs -mkdir -p /user/hive/warehouse/db_614.db/user_info6/month=202011/day=22;

hive (db_614)> dfs -put /root/data/user_info.csv /user/hive/warehouse/db_614.db/user_info6/month=202011/day=22;

查詢資料(查詢不到剛上傳的資料)

hive (db_614)> select * from user_info6 where month='202011' and day='22';

執行修復命令

hive (db_614)> msck repair table user_info6;

再次查詢資料

hive (db_614)> select * from user_info6 where month='202011' and day='22';

(2)方式二:上傳資料後新增分割槽

上傳資料

hive (db_614)> dfs -mkdir -p /user/hive/warehouse/db_614.db/user_info6/month=202011/day=23;

hive (db_614)> dfs -put /root/data/user_info.csv /user/hive/warehouse/db_614.db/user_info6/month=202011/day=23;

執行新增分割槽

hive (db_614)> alter table user_info6 add partition(month='202011',day='23');

查詢資料

hive (db_614)> select * from user_info6 where month='202011' and day='23';

(2)方式三:上傳資料後load資料到分割槽

上傳資料

hive (db_614)> load data local inpath '/root/data/user_info.csv' into table user_info6

> partition(month='202011',day='24');

查詢資料

hive (db_614)> select * from user_info6 where month='202011' and day='24';

hive高階 分割槽表與三種複雜資料型別

在大資料中,最常用的一種思想就是分治,我們可以把大的檔案切割劃分成乙個個的小的檔案,這樣每次操作乙個小的檔案就會很容易了,同樣的道理,在hive當中也是支援這種思想的,就是我們可以把大的資料,按照每天,或者每小時進行切分成乙個個的小的檔案,這樣去操作小的檔案就會容易得多了。建立分割槽表語法 crea...

07分割槽表與資料產生關聯的三種方式

11.分割槽表和資料產生關聯的三種方式 建立目錄 dfs mkdir p user hive warehouse student name month 202001 day 12 上傳資料 dfs put root hivedata stu.txt user hive warehouse stude...

hive 分割槽表 Hive的DDL分割槽表建立

1.單分割槽表 建立表t user,指定分割槽hive xiaoliu create table t user id int,name string partitioned by country string row format delimited fields terminated by xia...