hive元資料不存放在hdfs上,而是存放在rdbms上,典型的如mysql、derby等。
use hive; //使用 hive 資料庫庫
show tables;
mysql> show tables;
| tables_in_hive |
| bucketing_cols |
| cds |
| columns_v2 |
| database_params |
| dbs |
| funcs |
| func_ru |
| global_privs |
| idxs |
| index_params |
| partitions |
| partition_keys |
| partition_key_vals |
| partition_params |
| part_col_privs |
| part_col_stats |
| part_privs |
| roles |
| sds |
| sd_params |
| sequence_table |
| serdes |
| serde_params |
| skewed_col_names |
| skewed_col_value_loc_map |
| skewed_string_list |
| skewed_string_list_values |
| skewed_values |
| sort_cols |
| table_params |
| tab_col_stats |
| tbls |
| tbl_col_privs |
| tbl_privs |
| version |
表名錶說明
關聯鍵columns_v2
hive
表字段資訊
(字段注釋,欄位名,字段型別,字段序號)
cd_id
dbs元資料庫資訊(資料庫描述、資料庫
location_uri
,名稱等)
partitions
hive
表分割槽資訊
partition_keys
hive
分割槽表分割槽鍵
partition_key_vals
hive
表分割槽名(鍵值
) sds
所有hive
表、表分割槽所對應的
hdfs
資料目錄和資料格式
sd_id,cd_id
sequence_table
hive
序列資訊(序列名稱,序列值)
serde_param
序列化反序列化資訊,如行分隔符、列分隔符、
null
的表示字元等
table_params
表級屬性,如是否外部表,表注釋等
tbls
hive
表的基本資訊
解析使用者提交hive語句,對其進行解析,分解為表、字段、分割槽等hive物件;
根據解析到的資訊構建對應的表、字段、分割槽等物件,從sequence_table中獲取構建物件的最新id,與構建物件資訊(名稱,型別等)一同通過dao方法寫入到元資料表中去,成功後將sequence_table中對應的最新id+5。
hive學習筆記10
hia各位好,之前寫的很簡單的sql語句,然後就要py預處理,這很low,也很費時間,這裡必須面對這些問題。因此要採用hive sql的處理方法,直接讀取後就是結果,無需再次預處理,節省時間。1 分割字串 split即可,這個與python的同名函式是一樣的效果,不知道為null時是什麼效果,應該為...
hive 元資料解析 獲取hive建表語句
在使用hive進行開發時,我們往往需要獲得乙個已存在hive表的建表語句 ddl 然而hive本身並沒有提供這樣乙個工具。要想還原建表ddl就必須從元資料入手,我們知道,hive的元資料並不存放在hdfs上,而是存放在傳統的rdbms中,典型的如mysql,derby等,這裡我們以mysql為元資料...
解析元資料
問題 1.當我們執行乙個應用程式時 如 program.exe 時,它裡面包含了什麼?2.當我們第一次去接觸clr的時候,我們聽到的是 元資料 那麼它到底在 它是什麼呢 乙個託管 的 pe檔案 主要有四個部分構成 pe32 頭 是windows要求的標準資訊。頭 是乙個那些需要 的模組 託管模組 所...