直接將檔案put到Hdfs後建Hive表查詢資料

直接將檔案put到hdfs後建hive表查詢資料

由於業務需要，有時需要將其他地方的檔案資料匯入hdfs，然後建hive表進行資料查詢或資料業務統計。這裡演示如何將本地檔案先put到hive已存在的空表中，然後查詢資料。

create table `hive_test.direct_load_file_into_table`( `id` int, `name` string) partitioned by (`year` string comment '年', `month` string comment '月', `day` string comment '日') row format delimited fields terminated by '\t'

stored as textfile;

然後show create table，確認下該該錶的hdfs路徑，比如/user/hive/warehouse/hive_test.db/direct_load_file_into_table

create table `direct_load_file_into_table`( `id` int, `name` string) partitioned by ( `year` string comment '年', `month` string comment '月', `day` string comment '日') row format serde 'org.apache.hadoop.hive.serde2.lazy.lazy******serde' with serdeproperties ( 'field.delim'='\t', 'serialization.format'='\t') stored as inputformat 'org.apache.hadoop.mapred.textinputformat' outputformat 'org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat' location 'hdfs://******:9000/user/hive/warehouse/hive_test.db/direct_load_file_into_table' tblproperties (

'transient_lastddltime'='1523536404')

這裡將本地兩個檔案，put到上一步所建表的hdfs路徑下，同時演示資料夾迭代比如這裡除了分割槽2018/04/01，額外新增了一層資料夾01和02

hadoop fs -mkdir -p /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01/01 hadoop fs -mkdir -p /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01/02 hadoop fs -ls /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01 drwxr-xr-x - hjw01 supergroup 0 2018-04-12 20:12 /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01/01

drwxr-xr-x - hjw01 supergroup 0 2018-04-12 20:12 /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01/02

本地檔案如下

[hjw01@f0d97899be95 data]$ more 01.txt
101	張三
102	李四
103	王五
[hjw01@f0d97899be95 data]$ more 02.txt
201	張三
202	李四
203	王五

將本地檔案put到hdfs中

hadoop fs -put 01.txt /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01/01

hadoop fs -put 02.txt /user/hive/warehouse/hive_test.db/direct_load_file_into_table/2018/04/01/02

建立分割槽就可以直接使用分割槽下的資料

alter table hive_test.direct_load_file_into_table add if not exists   partition(year='2018',month='04',day='01') location '2018/04/01';

這裡我們順帶演示了檔案多層迭代，需要set 引數，具體如下

set hive.mapred.supports.subdirectories=true;
set mapreduce.input.fileinputformat.input.dir.recursive=true;
select 
* from
hive_test.direct_load_file_into_table
where
concat(year,month,day) = '20180401'

查詢結果

hive> set hive.mapred.supports.subdirectories=true;
hive> set mapreduce.input.fileinputformat.input.dir.recursive=true;
hive> select
> *
> from
> hive_test.direct_load_file_into_table
> where
> concat(year,month,day) = '20180401';
ok101	張三	2018	04	01
102	李四	2018	04	01
103	王五	2018	04	01
201	張三	2018	04	01
202	李四	2018	04	01
203	王五	2018	04	01
time taken: 1.775 seconds, fetched: 6 row(s)

直接將檔案put到Hdfs後建Hive表查詢資料

將hdfs檔案匯入hive表

將hdfs檔案加入hive分割槽表中

將csv或者Excel檔案匯入到hive

直接將檔案put到Hdfs後建Hive表查詢資料

將hdfs檔案匯入hive表

將hdfs檔案加入hive分割槽表中

將csv或者Excel檔案匯入到hive

相關推薦