hive處理json資料

2021-08-23 12:26:10 字數 1258 閱讀 2855

今天練習一下在hive中使用get_json_object這個函式,首先建立乙個表將json格式的資料匯入

create

table json01(line string);

將資料匯入:

load data local inpath '/home/hadoop/json_test'

into

table json01;

匯入資料如下:

解析movie值,操作如下:

將解析出的值存入另乙個表中:

create table json02 as

select

get_json_object(m.line,』.m

ovie

′)mo

vie,

getj

sono

bjec

t(m.

line

,′. mo

vie′

)mov

ie,g

etjs

onob

ject

(m.l

ine,

′.rate』) rate,

get_json_object(m.line,』.t

imes

tamp

′)ti

me,g

etjs

onob

ject

(m.l

ine,

′ .ti

mest

amp′

)tim

e,ge

tjso

nobj

ect(

m.li

ne,′

.uid』) uid

from json01 m;

檢視表內容:

hive處理json資料

1.載入hcatalog包,這個包已經在hive目錄檔案中 hive add jar hcatalog share hcatalog hive hcatalog core 1.2.0.jar 2.建立處理json格式資料的表 注意 org.apache.hive.hcatalog.data.json...

Hive處理json格式資料

1 資料示例 假設info表中存有兩個字段,分別是id,content content 2 使用hive內建函式 get json object json tuple regexp replace 3 說明 使用get json object 解析content,獲取properties,使用reg...

HIVE 處理json結構資料

3.示例 寬表儲存資料,必然會面臨乙個問題 一對多,資料是n倍的儲存。將會多占用n倍空間。而這些源資料入庫的時候,在檔案中存放時,也可能使用json格式。遇到這種情況,使用json tuple來解析json資料是乙個非常不錯的方法。如果只是查詢json中某乙個key的值,那麼使用get json o...