Hive中儲存json格式的資料

2021-09-24 15:48:08 字數 1019 閱讀 3076

啟動hadoop

start-all.sh

啟動hive

./hive

載入hcatalog包，此包已經包含在hive中

add jar  hive目錄/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.0.jar;

準備一批json資料

,,,,,,,,,,,,,,,,
將資料複製在乙個檔案裡面取名：test01.json.

建立test資料庫

create database testdb;

use jydb;

#建立可以處理json格式資料的表

create table test01  if not exists jsontest

(rate string,

cover_x double,

title string,

url string,

playable booliean,

cover string,

id string,

cover_y double,

is_new boolean)

row format serde 'org.apache.hive.hcatalog.data.jsonserde'

stored as textfile;

#載入資料

load data local inpath '/root/test01.json' into table test01;

我們可以檢視一下我們的**

select * from test01;

發現所有資料都進來了

hive儲存複雜的json格式

1.hive復合資料型別 array data type map primitive type,data type struct col name data type comment col comment 2.json建構於兩種結構 名稱 值 對的集合 a collection of name v...

hive儲存格式

textfile 預設格式，行儲存，匯入資料時直接把資料檔案拷貝到hdfs的hive表目錄 hive location 資料檔案可先經過gzip等壓縮，再導hive表 系統自動檢查，執行查詢時自動解壓 但使用這種方式，hive不會對資料進行切分，從而無法對資料進行並行操作.優點 資料載入快 load...

Hive儲存格式

hive的四種儲存格式 textfile sequencefile rcfile parquet 列式儲存和行式儲存的比較 優點缺點 行式儲存 一行資料是一條記錄，放在同乙個block塊中 只查詢幾個列時，也會讀取整行的資料，當資料量大時，影響效能 方便進行insert update操作 不同型別的...