hive 支援的檔案格式

其中textfile為預設格式，建表時不指定預設為這個格式，匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理。

sequencefile，rcfile，orcfile格式的表不能直接從本地檔案匯入資料，資料要先匯入到textfile格式的表中，然後再從表中用insert匯入sequencefile,rcfile,orcfile表中。

create table if not exists textfile_table(

site string,
url  string,
pv   bigint,
label string)
row format delimited
fields terminated by '/t'
stored as textfile;

create table if not exists textfile_table(

site string,
url  string,
pv   bigint,
label string)
row format delimited
fields terminated by '/t'
stored as textfile;

create table if not exists seqfile_table(

site string,
url  string,
pv   bigint,
label string)
row format delimited
fields terminated by '/t'
stored as sequencefile;

set hive.exec.compress.output=true;  

set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.gzipcodec; 
set io.compression.codecs=org.apache.hadoop.io.compress.gzipcodec;  
set mapred.output.compression.type=block;
insert overwrite table seqfile_table select * from textfile_table;

create table if not exists rcfile_table(

site string,
url  string,
pv   bigint,
label string)
row format delimited
fields terminated by '/t'
stored as rcfile;

set hive.exec.compress.output=true;  

set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.gzipcodec; 
set io.compression.codecs=org.apache.hadoop.io.compress.gzipcodec;  
insert overwrite table rcfile_table select * from textfile_table;

Hive 檔案格式

hive檔案儲存格式包括以下幾類 1 textfile 2 sequencefile 3 rcfile 4 orcfile 0.11以後出現 5 parquet其中textfile為預設格式，建表時不指定預設為這個格式，匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理 sequencefile，...

Hive檔案格式

hive檔案儲存格式包括以下幾類 1 textfile 2 sequencefile 3 rcfile 4 orcfile 0.11以後出現 其中textfile為預設格式，建表時不指定預設為這個格式，匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理 sequencefile，rcfile，or...

Hive檔案格式

hive檔案儲存格式包括以下幾類 1 textfile 2 sequencefile 3 rcfile 4 orcfile 0.11以後出現 其中textfile為預設格式，建表時不指定預設為這個格式，匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理 sequencefile，rcfile，or...