表名作用
bucketing_cols
儲存bucket欄位資訊,通過sd_id與其他表關聯
cds乙個欄位cd_id,與sds表關聯
columns_v2
儲存字段資訊,通過cd_id與其他表關聯
database_params
空dbs
儲存hive的database資訊
deleteme1410257703262
空funcs
空func_ru
空global_privs
全域性變數,與表無關
idxs
空index_params
空partitions
分割槽記錄,sd_id, tbl_id關聯
partition_keys
儲存分割槽字段,tbl_id關聯
partition_key_vals
分割槽的值,通過part_id關聯。與partition_keys共用同乙個欄位integer_idx來標示不同的分割槽字段。
partition_params
儲存某分割槽相關資訊,包括檔案數,檔案大小,記錄條數等。通過part_id關聯
part_col_privs
空part_col_stats
空part_privs
空roles
角色表,和global_privs配合,與表無關
sds儲存輸入輸出format等資訊,包括表的format和分割槽的format。關聯欄位cd_id,serde_id
sd_params
空sequence_table
儲存sqeuence相關資訊,與表無關
serdes
儲存序列化反序列化使用的類
serde_params
序列化反序列化相關資訊,通過serde_id關聯
skewed_col_names
空skewed_col_value_loc_map
空skewed_string_list
空skewed_string_list_values
空skewed_values
空sort_cols
排序字段,通過sd_id關聯
table_params
表相關資訊,是否外部表,通過tbl_id關聯
tab_col_stats
空tbls
儲存表資訊,關聯欄位db_id,sd_id,
tbl_col_privs
空tbl_privs
表賦許可權相關資訊,通過tbl_id關聯
version
版本version_copy
版本,通過ver_id關聯
這裡補充介紹hive的乙個工具指令碼metatool。如果需要大量修改元資料庫中的相關記錄,可以具體檢視metatool指令碼的使用方法。
比如說,對乙個hdfs做ha的時候,如果之前hdfs完整路徑是hdfs://m000,做完ha之後把dfs.nameservices
設定為my-cluster
之後,hdfs的訪問路徑就變成了hdfs://my-cluster,此時就需要對hive元資料庫中所有記錄作更新,這時可以參考下面的操作,
使用metatool指令碼,先是新路徑,然後是舊路徑
/usr/local/bigdata/hive/bin/metatool -updatelocation hdfs://my-cluster hdfs://m000
HIVE 資料庫臨時表
hive從0.14.0開始提供建立臨時表的功能,表只對當前session有效,session退出後,表自動刪除。語法 create temporary table 注意點 1 如果建立的臨時表表名已存在,那麼當前session引用到該錶名時實際用的是臨時表,只有drop或rename臨時表名才能使用...
Hive元資料庫中各個表的含義(十)
在之前找bug的過程中,檢視了元資料庫中的dbs表和sds表,灰常滴感興趣,所以逐個查了一下。首先進入mysql,然後選擇使用所建立的元資料庫 然後檢視總共有幾個元資料表 可以清楚的看到總共有30幾個表。首先先來個簡要分析 表名作用 bucketing cols 儲存bucket欄位資訊,通過sd ...
Hive配置mysql作為元資料庫
安裝mysql,具體操作參考 安裝hive 複製hive default.xml.template和hive env.sh.template,重新命名為hive env.sh和hive site.xml hive default.xml的內容和hive site.xml一樣,系統預設先載入defau...