Hive元資料在MySQL中的儲存結構

2021-09-21 17:34:11 字數 3851 閱讀 8287

元資料表有以下:

id主鍵

hive版本

版本說明

1.1.0

set  by metastore

如果該錶出現問題,根本進入不了hive-cli。比如該錶不存在,當啟動hive-cli時候,就會報錯」table 『hive.version』 doesn』t exist」。

dbs:該錶儲存hive中所有資料庫的基本資訊,字段如下:

表字段說明

示例資料

db_id

資料庫id

desc

資料庫描述

default  hive database

db_location_uri

資料hdfs路徑

hdfs:

name

資料庫名

default

owner_name

資料庫所有者使用者名稱

public

owner_type

所有者角色

role

database_params:該錶儲存資料庫的相關引數,在create database時候用with dbproperties(property_name=property_value, …)指定的引數。

dbs和database_params這兩張表通過db_id欄位關聯。

主要有tbls、table_params、tab_col_stats,這三張表通過tbl_id關聯。

表字段說明

示例資料

tbl_id

表idcreate_time

建立時間

db_id

資料庫id

last_access_time

上次訪問時間

owner

所有者root

retention

保留字段

sd_id

序列化配置資訊

41,對應sds表中的sd_id

tbl_name

表名ex_detail_ufdr_30streaming

tbl_type

表型別external_table

view_expanded_text

檢視的詳細hql語句

view_original_text

檢視的原始hql語句

主要涉及partitions、partition_keys、partition_key_vals、partition_params;

partitions:該錶儲存表分割槽的基本資訊。

表字段說明

示例資料

part_id

分割槽id

create_time

分割槽建立時間

last_access_time

最後一次訪問時間

part_name

分割槽名hour=15/last_msisdn=0

sd_id

分割槽儲存id

tbl_id

表idlink_target_id

null

partition_keys:該錶儲存分割槽的字段資訊。

表字段說明

示例資料

tbl_id

表idpkey_comment

分割槽字段說明

null

pkey_name

分割槽欄位名

hour

pkey_type

分割槽字段型別

intinteger_idx

分割槽字段順序

partition_key_vals:該錶儲存分割槽字段值

表字段說明

示例資料

part_id

分割槽id

part_key_val

分割槽字段值

0  integer_idx

分割槽字段值順序

partition_params:該錶儲存分割槽的屬性資訊

表字段說明

示例資料

part_id

分割槽id

param_key

分割槽屬性名

numfiles,numrows

param_value

分割槽屬性值

1,502195

Hive 使用MySQL儲存元資料

現象 bin hive這個互動性命令列不能同時開多個,開第二個就報錯了 原因hive中無論是建立的 資料庫還是表 這些元資料metastore需要儲存 預設情況下儲存在derby資料庫裡面的,屬於嵌入式資料,每次僅僅支援乙個會話,解決 使用支援多個會話的資料,推薦mysql儲存元素 官方推薦 文件 ...

mysql元資料同步 mysql中的元資料

一 什麼是元資料?所謂元資料,就是表示資料的資料,這些資料五花八門,總之,只要不是我們儲存到資料庫裡的資料,大多都可以理解為元資料。描述資料庫的任何資料 作為資料庫內容的對立面 是元資料。因此,列名 資料庫名 使用者名稱 版本名以及從show語句得到的結果中的大部分字串是元資料。還包括informa...

mysql中的元資料

一 什麼是元資料?所謂元資料,就是表示資料的資料,這些資料五花八門,總之,只要不是我們儲存到資料庫裡的資料,大多都可以理解為元資料。描述資料庫的任何資料 作為資料庫內容的對立面 是元資料。因此,列名 資料庫名 使用者名稱 版本名以及從show語句得到的結果中的大部分字串是元資料。還包括informa...