07分割槽表與資料產生關聯的三種方式

2021-09-26 05:47:24 字數 1180 閱讀 4527

11.分割槽表和資料產生關聯的三種方式

①建立目錄

dfs -mkdir -p /user/hive/warehouse/student_name/month=202001/day=12;

②上傳資料

dfs -put /root/hivedata/stu.txt /user/hive/warehouse/student_name/month=202001/day=12;

③查詢資料(查詢不到剛上傳的資料)

select * from student_name where month='202001' and day='12';

※※ ④執行修復命令

msck repair table student_name;

⑤再次查詢

select * from student_name where month='202001' and day='12';

①建立目錄

dfs -mkdir -p /user/hive/warehouse/student_name/month=202002/day=22;

②上傳資料

dfs -put /root/hivedata/stu.txt /user/hive/warehouse/student_name/month=202002/day=22;

※※ ③執行新增分割槽

alter table student_name add partition(month='202002',day='22');

④查詢資料

select * from student_name where month='202002' and day='22';

①建立目錄

dfs -mkdir -p /user/hive/warehouse/student_name/month=202003/day=13;

※※ ②上傳資料

load data local inpath '/root/hivedata/stu.txt' into table student_name partition(month='202003',day='13');

③查詢資料

select * from student_name where month='202003' and day='13';

hive分割槽表與資料關聯的三種方式

3.把資料直接上傳到分割槽目錄上,讓分割槽表和資料產生關聯的三種方式 1 方式一 上傳資料後修復 上傳資料 hive db 614 dfs mkdir p user hive warehouse db 614.db user info6 month 202011 day 22 hive db 614...

hive高階 分割槽表與三種複雜資料型別

在大資料中,最常用的一種思想就是分治,我們可以把大的檔案切割劃分成乙個個的小的檔案,這樣每次操作乙個小的檔案就會很容易了,同樣的道理,在hive當中也是支援這種思想的,就是我們可以把大的資料,按照每天,或者每小時進行切分成乙個個的小的檔案,這樣去操作小的檔案就會容易得多了。建立分割槽表語法 crea...

Django的ORM獲取單錶資料的三種方法

一共有三種方法如下 1,以物件的方法 2,以字典的方法 3,以元組的方法 說明 獲取的是queryset型別,輸出的是每個元素都是類的物件,這個物件有類中所有屬性 同過點呼叫 url路徑 models 資料庫 views 檢視函式 html 客戶端。說明 獲取的是queryset型別,輸出的是每個元...