hive計畫(二)分割槽

2021-08-14 04:21:58 字數 1536 閱讀 1170

#使用hive -e 可以執行多條語句

hive -e 'sentence1; sentence2;'

#進入hive 後檢視當前路徑

!pwd;

#hive 介面使用命令檢視hdfs路徑

dfs -ls / ;

#使用desc可以檢視表的資訊

desc #檢視分割槽表的分割槽資訊

show partitions

一般分割槽資訊不存在於load的表中
--分割槽表的建立

create database if

not exists bikepatition

comment 'test database';

create table

ifnot exists bikepatition.bike(

tripduration string,

starttime string,

stoptime string,

start_station_id string,

start_station_name string,

start_station_latitude string,

start_station_longitude string,

end_station_id string,

end_station_name string,

end_station_latitude string,

end_station_longitude string,

bikeid string,

usertype string,

birth_year string,

gender string

)--注意patition要放在row語句前面

--表示按照月份分割槽

partitioned by (time_month string,creator string)

row format delimited fields terminated by ','

stored as textfile;

--使用load載入並表明partitioned資訊

--兩個分割槽的標籤資訊,就會產生兩級的目錄

--可以load不同的表到同乙個表中,建立不同的分割槽

load data local inpath '《絕對路徑》'

into

table

partition(time_month = 《分割槽標籤》,creator = 'eric');

alter

table

add partition(time_month=《標籤》,creator='eric') location '《本地檔案路徑》';

--刪除分割槽

alter

table

drop partition(time_month=《標籤》 ,creator='eric');

Hive入門(二)分割槽

hive查詢中一般會掃瞄整個表內容,會消耗很多時間。有時候只需要查詢表中的一部分資料,因此建表時引入了partition 分割槽 概念。表中的乙個 partition 對應於表下的乙個目錄,所有的 partition 的資料都儲存在對應的目錄中,因此,使用分割槽,很容易對資料進行部分查詢。注意 建立...

Hive(二) 分區分桶,內部表外部表

hive是hadoop生態圈中實現資料倉儲的一項技術。雖然hadoop和hdfs的設計侷限了hive所能勝任的工作,但是hive仍然是目前網際網路中最適合資料蒼鷺的應用技術。不論從 品相還是舉止 hive都像乙個關係型資料庫。使用者對資料庫 表和列這類術語比較熟悉的話,那麼掌握hive的查詢語言hq...

二分查詢 二分區間 快速冪(二分冪)

include include using namespace std 二分查詢 初始區間 0,n 1 intbinarysearch int a,int left,int right,int x else return 1 二分 找出元素的區間左閉右開 初始區間 0,n intlower boun...