六 Hive DML資料匯入匯出操作

2021-10-06 07:52:26 字數 4027 閱讀 3098

1.語法

hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];

(1)load data:表示載入資料

(2)local:表示從本地載入資料到hive表;否則從hdfs載入資料到hive表

(3)inpath:表示載入資料的路徑

(4)overwrite:表示覆蓋表中已有資料,否則表示追加

(5)into table:表示載入到哪張表

(6)student:表示具體的表

(7)partition:表示上傳到指定分割槽

2、實操案例

2.1 建立一張表

hive (default)> create table student(id string, name string) row format delimited fields terminated by 『\t』;

2.2 載入本地檔案到hive

hive (default)> load data local inpath 『/opt/module/datas/student.txt』 into table default.student;

2.3 載入hdfs檔案到hive中

上傳檔案到hdfs
hive (default)> dfs -put /opt/module/datas/student.txt /user/root/hive;

載入hdfs上資料

hive (default)> load data inpath 『/user//hive/student.txt』 into table default.student;

2.4 載入資料覆蓋表中已有的資料

上傳檔案到hdfs

hive (default)> dfs -put /opt/module/datas/student.txt /user/root/hive;

載入資料覆蓋表中已有的資料

hive (default)> load data inpath 『/user/root/hive/student.txt』 overwrite into table default.student;

3、通過查詢語句向表中插入資料(insert)

3.1 建立一張分割槽表

hive (default)> create table student(id int, name string) partitioned by (month string) row format delimited fields terminated by 『\t』;

3.2 基本插入資料

hive (default)> insert into table student partition(month=『201709』) values(1,『wangwu』);

3.3 基本模式插入(根據單張表查詢結果)

hive (default)> insert overwrite table student partition(month=『201708』)

select id, name from student where month=『201709』;

3.4 多插入模式(根據多張表查詢結果)

hive (default)> from student

insert overwrite table student partition(month=『201707』)

select id, name where month=『201709』

insert overwrite table student partition(month=『201706』)

select id, name where month=『201709』;

4、查詢語句中建立表並載入資料(as select)

create table if not exists student3 as select id, name from student;
5、建立表時通過location指定載入資料路徑
1.建立表,並指定在hdfs上的位置

hive (default)> create table if not exists student5(

id int, name string

)row format delimited fields terminated by '\t'

location '/user/hive/warehouse/student5';

2.上傳資料到hdfs上

hive (default)> dfs -put /opt/module/datas/student.txt

/user/hive/warehouse/student5;

3.查詢資料

hive (default)> select * from student5;

6、import資料到指定hive表中

注意:先用export匯出後,再將資料匯入。

1、匯出

(defahiveult)> export table default.student to

'/user/hive/warehouse/export/student';

2、 匯入-匯入時不能是已經存在的表,不然抱table exists and contains data files 異常

hive (default)> import table student2 partition(month='201709') from

'/user/hive/warehouse/export/student';

export/import匯入匯出分割槽表:

1、 insert匯出

1.將查詢的結果匯出到本地

hive (default)> insert overwrite local directory '/opt/module/datas/export/student'

select * from student;

2.將查詢的結果格式化匯出到本地

hive(default)>insert overwrite local directory '/opt/module/datas/export/student1'

row format delimited fields terminated by '\t' select * from student;

3.將查詢的結果匯出到hdfs上(沒有local)

hive (default)> insert overwrite directory '/user/atguigu/student2'

row format delimited fields terminated by '\t'

select * from student;

2、 hadoop命令匯出到本地
hive (default)> dfs -get /user/hive/warehouse/student/month=201709/000000_0

/opt/module/datas/export/student3.txt;

3、 hive shell 命令匯出
基本語法:(hive -f/-e 執行語句或者指令碼 > file)

[atguigu@hadoop102 hive]$ bin/hive -e 'select * from default.student;' >

/opt/module/datas/export/student4.txt;

4、 export匯出到hdfs上
(defahiveult)> export table default.student to

'/user/hive/warehouse/export/student';

5、其它匯出方式:sqoop、hdfs客戶端注意:truncate只能刪除管理表,不能刪除外部表中資料

hive (default)> truncate table student;

Hive DML之資料的匯入匯出

通過查詢語句向表中插入資料 查詢語句中建立表並且載入資料 import資料到指定hive表 資料的匯出 load data local inpath datapath overwrite into table table name partition partcoll val1,load data ...

資料的匯入匯出操作

資料匯入匯出的兩種方式 第一種是匯出為.dmp的檔案格式,dmp檔案是二進位制的,可以跨平台,還能包含許可權,效率很不錯,用得最為廣泛 第二種是匯出為.sql檔案,可用文字編輯器檢視,通用性比較好,但效率不如第一種,適合小資料量匯入匯出 資料的匯出 1 將資料庫orcl完全匯出 exp system...

Excel 匯入 匯出操作

在很多的時候我們都要用到excel的匯出 可是 有些東西是現成的 所以我們 就只需要理解 就好 沒必要每次開發都自己寫一遍 在這裡 把我的方法寫一下 在這裡需要說明的是在很以前的自己寫的 中 匯出的資料會出現亂碼的問題 但是 本編 已經查詢解決 就是在匯出的檔案是新增meta宣告 上面的是完整版本!...