元資料表有以下:
id主鍵
hive版本
版本說明
1.1.0
set by metastore
如果該錶出現問題,根本進入不了hive-cli。比如該錶不存在,當啟動hive-cli時候,就會報錯」table 『hive.version』 doesn』t exist」。
dbs:該錶儲存hive中所有資料庫的基本資訊,字段如下:
表字段說明
示例資料
db_id
資料庫id
desc
資料庫描述
default hive database
db_location_uri
資料hdfs路徑
hdfs:
name
資料庫名
default
owner_name
資料庫所有者使用者名稱
public
owner_type
所有者角色
role
database_params:該錶儲存資料庫的相關引數,在create database時候用with dbproperties(property_name=property_value, …)指定的引數。
dbs和database_params這兩張表通過db_id欄位關聯。
主要有tbls、table_params、tab_col_stats,這三張表通過tbl_id關聯。
表字段說明
示例資料
tbl_id
表idcreate_time
建立時間
db_id
資料庫id
last_access_time
上次訪問時間
owner
所有者root
retention
保留字段
sd_id
序列化配置資訊
41,對應sds表中的sd_id
tbl_name
表名ex_detail_ufdr_30streaming
tbl_type
表型別external_table
view_expanded_text
檢視的詳細hql語句
view_original_text
檢視的原始hql語句
主要涉及partitions、partition_keys、partition_key_vals、partition_params;
partitions:該錶儲存表分割槽的基本資訊。
表字段說明
示例資料
part_id
分割槽id
create_time
分割槽建立時間
last_access_time
最後一次訪問時間
part_name
分割槽名hour=15/last_msisdn=0
sd_id
分割槽儲存id
tbl_id
表idlink_target_id
null
partition_keys:該錶儲存分割槽的字段資訊。
表字段說明
示例資料
tbl_id
表idpkey_comment
分割槽字段說明
null
pkey_name
分割槽欄位名
hour
pkey_type
分割槽字段型別
intinteger_idx
分割槽字段順序
partition_key_vals:該錶儲存分割槽字段值
表字段說明
示例資料
part_id
分割槽id
part_key_val
分割槽字段值
0 integer_idx
分割槽字段值順序
partition_params:該錶儲存分割槽的屬性資訊
表字段說明
示例資料
part_id
分割槽id
param_key
分割槽屬性名
numfiles,numrows
param_value
分割槽屬性值
1,502195
Hive 使用MySQL儲存元資料
現象 bin hive這個互動性命令列不能同時開多個,開第二個就報錯了 原因hive中無論是建立的 資料庫還是表 這些元資料metastore需要儲存 預設情況下儲存在derby資料庫裡面的,屬於嵌入式資料,每次僅僅支援乙個會話,解決 使用支援多個會話的資料,推薦mysql儲存元素 官方推薦 文件 ...
mysql元資料同步 mysql中的元資料
一 什麼是元資料?所謂元資料,就是表示資料的資料,這些資料五花八門,總之,只要不是我們儲存到資料庫裡的資料,大多都可以理解為元資料。描述資料庫的任何資料 作為資料庫內容的對立面 是元資料。因此,列名 資料庫名 使用者名稱 版本名以及從show語句得到的結果中的大部分字串是元資料。還包括informa...
mysql中的元資料
一 什麼是元資料?所謂元資料,就是表示資料的資料,這些資料五花八門,總之,只要不是我們儲存到資料庫裡的資料,大多都可以理解為元資料。描述資料庫的任何資料 作為資料庫內容的對立面 是元資料。因此,列名 資料庫名 使用者名稱 版本名以及從show語句得到的結果中的大部分字串是元資料。還包括informa...