數倉 Hive 總結之Hive常用命令以及作用

-- 內部表

create table a1
(col1 string,col2 int
) partitioned by
(statdate int
) row format delimited fields terminated by '\t'；
-- 外部表
create external table b1
(col1 string, col2 int
) partitioned by
(statdate int
) row format delimited fields terminated by '\t' location '/user/gaofei.lu/'
;

show create table tablename;

本地資料：load data local inpath ' /home/feifei/aa.txt' into table aa partition

(statdate=
20180315
)hdfs上資料：load data inpath '/user/feifei/aa.txt' into table bb partition
(statdate=
20180315
)

alter table aa set tblproperties (

'external'
='true'
)alter table bb set tblproperties (
'external'
='false'
)

修改列名和列資料型別：alter table aa change col2 name string ;

修改位置放置第一位：alter table aa change col2 name string first;
修改位置指定某一列後面：alter table aa change col1 dept string after name;

alter table aa add columns

(col3 string)
;

alter table aa rename to aa_test;

alter table aa add partition

(statdate=
20180315);
alter table bb add partition
(statdate=
20180315
) location '/user/gaofei.lu/20180315.txt'
;

show partitioins aa;

alter table aa partition

(statdate=
20180315
) rename to partition
(statdate=
20180316);
alter table bb partition
(statdate=
20180315
) set location '/user/gaofei.lu/aa.txt'
;

alter table aa drop if exists partition

(statdate=
20180315
);

beeline  !connect jdbc:hive2://

192.168
.1.01
:10000

set hive.execution.engine=spark

insert overwrite local directory '/home/hadoop/gaofeilu/test_delimited.txt'

row format delimited
fields terminated by '\t'
select * from test;

推薦部落格 : 關於hive的那些事

數倉工具 Hive初識 1

那麼，到底什麼是hive，我們先看看hive官網wiki是如何介紹hive的 apache hive是基於hadoop的乙個資料倉儲工具，可以將結構化的資料檔案對映為一張表，並且提供了通過sql 對儲存在分布式中的大型資料集的查詢和管理，主要提供以下功能 它提供了一系列的通過sql 訪問資料的工具，...

Hive 1 數倉和Hive基本概念

資料倉儲的分層架構 資料倉儲分層的目的 數倉的三層架構 數倉的四層架構 etlhive概念 hive的互動方式 非易失性 資料進入數倉後，基本不會被修改 時變性 分析資料的手段 工具 可能會變 數倉的出現並不是要取代資料庫，數倉是在資料庫已經大量存在的情況下，為了進一步挖掘資料來決策而產生的，數倉絕...

數倉工具 Hive高階之SerDe 6

serde是serializer deserializer的縮寫。序列化是物件轉換成位元組序列的過程。反序列化是位元組序列轉換成物件的過程。物件的序列化主要有兩種用途 hive使用serde介面完成io操作也就是資料的讀取和寫入，hive本身並不儲存資料，它用的是hdfs上儲存的檔案，在與hdfs的...