Hive學習筆記10 元資料解析

2021-07-27 19:08:13 字數 2246 閱讀 7869

hive元資料不存放在hdfs上,而是存放在rdbms上,典型的如mysql、derby等。

use hive;   //使用 hive 資料庫庫

show tables;

mysql> show tables;

| tables_in_hive            |

| bucketing_cols            |

| cds                       |

| columns_v2                |

| database_params           |

| dbs                       |

| funcs                     |

| func_ru                   |

| global_privs              |

| idxs                      |

| index_params              |

| partitions                |

| partition_keys            |

| partition_key_vals        |

| partition_params          |

| part_col_privs            |

| part_col_stats            |

| part_privs                |

| roles                     |

| sds                       |

| sd_params                 |

| sequence_table            |

| serdes                    |

| serde_params              |

| skewed_col_names          |

| skewed_col_value_loc_map  |

| skewed_string_list        |

| skewed_string_list_values |

| skewed_values             |

| sort_cols                 |

| table_params              |

| tab_col_stats             |

| tbls                      |

| tbl_col_privs             |

| tbl_privs                 |

| version                   |

表名錶說明

關聯鍵columns_v2

hive

表字段資訊

(字段注釋,欄位名,字段型別,字段序號)

cd_id

dbs元資料庫資訊(資料庫描述、資料庫

location_uri

,名稱等)

partitions

hive

表分割槽資訊

partition_keys

hive

分割槽表分割槽鍵

partition_key_vals

hive

表分割槽名(鍵值

) sds

所有hive

表、表分割槽所對應的

hdfs

資料目錄和資料格式

sd_id,cd_id

sequence_table

hive

序列資訊(序列名稱,序列值)

serde_param

序列化反序列化資訊,如行分隔符、列分隔符、

null

的表示字元等

table_params

表級屬性,如是否外部表,表注釋等

tbls

hive

表的基本資訊

解析使用者提交hive語句,對其進行解析,分解為表、字段、分割槽等hive物件;

根據解析到的資訊構建對應的表、字段、分割槽等物件,從sequence_table中獲取構建物件的最新id,與構建物件資訊(名稱,型別等)一同通過dao方法寫入到元資料表中去,成功後將sequence_table中對應的最新id+5。

hive學習筆記10

hia各位好,之前寫的很簡單的sql語句,然後就要py預處理,這很low,也很費時間,這裡必須面對這些問題。因此要採用hive sql的處理方法,直接讀取後就是結果,無需再次預處理,節省時間。1 分割字串 split即可,這個與python的同名函式是一樣的效果,不知道為null時是什麼效果,應該為...

hive 元資料解析 獲取hive建表語句

在使用hive進行開發時,我們往往需要獲得乙個已存在hive表的建表語句 ddl 然而hive本身並沒有提供這樣乙個工具。要想還原建表ddl就必須從元資料入手,我們知道,hive的元資料並不存放在hdfs上,而是存放在傳統的rdbms中,典型的如mysql,derby等,這裡我們以mysql為元資料...

解析元資料

問題 1.當我們執行乙個應用程式時 如 program.exe 時,它裡面包含了什麼?2.當我們第一次去接觸clr的時候,我們聽到的是 元資料 那麼它到底在 它是什麼呢 乙個託管 的 pe檔案 主要有四個部分構成 pe32 頭 是windows要求的標準資訊。頭 是乙個那些需要 的模組 託管模組 所...