hive 儲存,解析,處理json資料

2021-10-07 11:29:04 字數 846 閱讀 9406

hive 處理json資料總體來說有兩個方向的路走

hive中的正則替換函式 regexp_replace

語法

regexp_replace(字段,'替換前內容','替換後內容'

)替換的內容支援正則的語法

json陣列的處理

[

,]

[

,]

第一步:把json陣列中元素之間的分隔符 從 },;,]'

,'\\}\\,\\\\;\\

;]

select regexp_replace(regexp_replace(

'[,]'

,'\\}\\,\\\\;\\;

第三步 根據分隔符; 進行切割 變成array(string)

第四步 把切割後的結果交給explode炸開 每個元素一行 每一行都是標準json資料。

select json_tuple(json,

'website'

,'name'

)from

(select explode(split(regexp_replace(regexp_replace(

'[,]'

,'\\}\\,\\\\;\\{'),

'\\[|\\]',''

),'\\;'))

as json) itcast;

結果

www.itcast.cn,wangjie

cloud.itcast.com,carbondata 中文文件

hive處理json資料

今天練習一下在hive中使用get json object這個函式,首先建立乙個表將json格式的資料匯入 create table json01 line string 將資料匯入 load data local inpath home hadoop json test into table js...

hive處理json資料

1.載入hcatalog包,這個包已經在hive目錄檔案中 hive add jar hcatalog share hcatalog hive hcatalog core 1.2.0.jar 2.建立處理json格式資料的表 注意 org.apache.hive.hcatalog.data.json...

Hive解析json格式資料

本文將介紹兩個使用hive解析json的小demo 1.hadoop hadoop001 jsondata more rating.json 很多資料.hive hwzhdb create table parsejson jsondata string oktime taken 0.146 seco...