hive實現多分隔符

2021-10-02 06:53:21 字數 1255 閱讀 2418

一、測試外表:

create external  -- 外表標識

table tmp.deli_tmp_0117

(z1 string,

z2 string

) partitioned by

(pt string comment

'yyyymm'

)row format serde 'org.apache.hadoop.hive.contrib.serde2.multidelimitserde'

-- 設定多分隔符條件

with serdeproperties (

"field.delim"

="algo"

)-- 設定分隔符

location 'hdfs:///user/data/aaa'

--指定外表檔案目錄 (注:這是個資料夾)

在hdfs:///user/data/aaa 下有bbbb目錄 bbbb下存放要讀取的檔案test

檔案內容

你algo他

第二步:

– 新增分割槽:

alter

table tmp.deli_tmp_0117 add

partition

(pt=

'bbbb'

) location '/user/data/aaa/bbbb'~~

~sql

-- 測試查詢

select

*from tmp.deli_tmp_0117 where pt=

'bbbb'

二、內錶:
--建表

create

table tmp.deli_tmp_0117_mer

(z1 string,

z2 string

)row format serde 'org.apache.hadoop.hive.contrib.serde2.multidelimitserde'

-- 設定多分隔符條件

with serdeproperties (

"field.delim"

="algo"

)

– 導資料

load

data inpath '/user/data/aaa/test'

into

table tmp.deli_tmp_0117_mer

awk linux 分隔 awk多分隔符

awk的 f引數可以指定新的分隔符,有些時候可能需求指定多個分隔符,比如下面的內容 root n1 netstat an grep estab udp 0 0 192.168.1.120 35570 212.47.249.141 123 established udp 0 0 192.168.1.1...

Hive學習之路 多分隔符的使用

通常情況下,我們建立的都是單分隔符的hive表,但是在實際業務環境中,多數情況下使用的是多分隔符,本篇文章我們 下hive多分隔的用法以及注意事項。單分隔符示例 create table hello name string,code timestamp row format delimited fi...

Hive的列分隔符和行分隔符

在建立hive表時,預設行分隔符 a 列分隔符 n 這兩項也是可以設定的。在實際開發中,一般預設使用預設的分隔符,當然有些場景下也會自定義分隔符。spark hive use test db 建立外部表 create external table test tb user id bigint com...