Hive元資料庫中各個表的含義(十)

2021-09-27 08:16:23 字數 2545 閱讀 9311

在之前找bug的過程中,檢視了元資料庫中的dbs表和sds表,灰常滴感興趣,所以逐個查了一下。

首先進入mysql,然後選擇使用所建立的元資料庫

然後檢視總共有幾個元資料表

可以清楚的看到總共有30幾個表。

首先先來個簡要分析:

表名作用

bucketing_cols

儲存bucket欄位資訊,通過sd_id與其他表關聯

cds乙個欄位cd_id,與sds表關聯

columns_v2

儲存字段資訊,通過cd_id與其他表關聯

database_params

儲存資料庫的相關引數

dbs儲存hive的database資訊

funcs

使用者註冊的函式資訊

func_ru

使用者註冊函式的資源資訊

global_privs

儲存全域性變數

idxs

索引表,儲存hive索引相關的元資料

index_params

索引相關的屬性資訊

partitions

分割槽記錄,sd_id,tbl_id關聯

partition_keys

儲存分割槽字段,tbl_id關聯

partition_key_vals

分割槽的值,通過part_id關聯。與partition_keys共用integer_idx來標示不同的分割槽字段

partition_params

儲存某分割槽相關資訊,包括檔案數,檔案大小,記錄條數等part_id關聯

part_col_privs

分割槽欄位的許可權資訊

part_col_stats

分割槽欄位的統計資訊

part_privs

分割槽的授權資訊

roles

角色表,和global_privs配合

sds儲存對應檔案的基本資訊,如input_format、output_format、是否壓縮等。tbls表中的sd_id與該錶關聯,可以獲取hive表的儲存資訊。

sd_params

該錶儲存hive儲存的屬性資訊

sequence_table

儲存sqeuence相關資訊

serdes

儲存序列化反序列化使用的類

serde_params

序列化反序列化相關資訊,通過serde_id關聯

skewed_col_names

skewed_col_value_loc_map

skewed_string_list

skewed_string_list_values

skewed_values

sort_cols

排序字段,通過sd_id關聯

table_params

表相關資訊

tab_col_stats

tbls

儲存hive表、試圖、索引表的基本資訊

tbl_col_privs

tbl_privs

version

儲存hive的版本資訊

先分析之前用到的dbs表和sds表吧:

dbs表主要用於儲存hive中所有資料庫的基本資訊

資料庫id

desc

varchar(4000)

資料庫描述

db_location_uri

varchar(4000)

資料庫hdfs路徑

name

varchar(128)

資料庫名

owner_name

varchar(128)

資料庫所有者使用者名稱

owner_type

varchar(10)

所有者角色

sds表

儲存資訊id

cd_id

字段資訊id

input_format

檔案輸入格式

is_compressed

是否壓縮

is_storedassubdirectories

是否以子目錄儲存

location

hdfs路徑

num_buckets

分桶output_format

檔案輸出格式

serde_id

序列化類id

hive 元資料庫表描述

表名作用 bucketing cols 儲存bucket欄位資訊,通過sd id與其他表關聯 cds乙個欄位cd id,與sds表關聯 columns v2 儲存字段資訊,通過cd id與其他表關聯 database params 空dbs 儲存hive的database資訊 deleteme141...

activiti資料庫表含義

1.資源庫流程規則表 act re deployment 部署物件表 act re procdef 流程定義表 act re model 流程設計模型部署表 act ge bytearray 資源檔案表 act ge property 主鍵生成策略表 2.執行時資料庫表 act ru task 正在...

HIVE 資料庫臨時表

hive從0.14.0開始提供建立臨時表的功能,表只對當前session有效,session退出後,表自動刪除。語法 create temporary table 注意點 1 如果建立的臨時表表名已存在,那麼當前session引用到該錶名時實際用的是臨時表,只有drop或rename臨時表名才能使用...