hive元資料表結構:
元資料表字段 說明 示例資料
1:hive資料庫相關的元資料表(dbs、database_params)
dbs:
該錶儲存hive中所有資料庫的基本資訊
db_id 資料庫id 2
param_key 引數名 測試庫
param_value 引數值 hdfs://namenode/user/hive/warehouse/jeff1234.db
dbs和database_params這兩張表通過db_id欄位關聯。
database_params:
該錶儲存資料庫的相關引數,在create database時候用
db_id 資料庫id 2
param_key 引數名 createby
param_value. 引數值 jeff1234
2:hive表和檢視相關的元資料表(tbls、table_params、tbl_privs)
tbls:
該表中儲存hive表、檢視、索引表的基本資訊。
tbl_id 表id 1
create_time 建立時間 1436317071
db_id 資料庫id 2(對應dbs中的db_id)
last_access_time 上次訪問時間 1436317071
owner 所有者 zhaojianfeng
retention 保留字段 0
sd_id 序列化配置資訊 86,對應sds表中的sd_id
tbl_name 表名 jeff1234
tbl_type 表型別 managed_table、external_table、index_table、virtual_view
view_expanded_text 檢視的詳細hql語句 selectjeff1234
.pt
,jeff1234
.pcid
from zhaojianfeng.
jeff1234`
view_original_text 檢視的原始hql語句 select * from jeff1234
table_params:
該錶儲存表/檢視的屬性資訊。
tbl_id 表id 1
param_key 屬性名 totalsize、numrows、external
param_value 屬性值 970107336、21231028、true
tbl_privs:
該錶儲存表/檢視的授權資訊
tbl_grant_id 授權id 1
create_time 授權時間 1436320455
grant_option 0
grantor 授權執行使用者 zhaojianfeng
grantor_type 授權者型別 user
principal_name 被授權使用者 username
principal_type 被授權使用者型別 user
tbl_priv 許可權 select、alter
tbl_id 表id 22(對應tbls表中的tbl_id)
3:hive檔案儲存資訊相關的元資料表(sds、sd_params、serdes、serde_params)
sds:
該錶儲存檔案儲存的基本資訊,如input_format、output_format、是否壓縮等。
tbls表中的sd_id與該錶關聯,可以獲取hive表的儲存資訊。
sd_id 儲存資訊id 1
cd_id 字段資訊id 21,對應cds表
input_format 檔案輸入格式 org.apache.hadoop.mapred.textinputformat
is_compressed 是否壓縮 0
is_storedassubdirectories 是否以子目錄儲存 0
location hdfs路徑 hdfs://namenode/hivedata/warehouse/ut.db/t_jeff
num_buckets 分桶數量 5
output_format 檔案輸出格式 org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat
serde_id 序列化類id 3,對應serdes表
sd_params:
該錶儲存hive儲存的屬性資訊,在建立表時候使用
sd_id 儲存配置id 1
param_key 儲存屬性名
param_value 儲存屬性值
serdes:
該錶儲存序列化使用的類資訊
serde_id 序列化類配置id 1
name 序列化類別名
slib 序列化類 org.apache.hadoop.hive.serde2.lazy.lazy******serde
serde_params:
該錶儲存序列化的一些屬性、格式資訊,比如:行、列分隔符
serde_id 序列化類配置id 1
param_key 屬性名 field.delim
param_value 屬性值
4:hive表字段相關的元資料表(columns_v2)
columns_v2:
該錶儲存表對應的字段資訊
cd_id 字段資訊id 1
comment 字段注釋
column_name 欄位名 pt
type_name 字段型別 string
integer_idx 字段順序 2
5:hive表分割槽相關的元資料表(partitions、partition_keys、partition_key_vals、partition_params)
partitions:
該錶儲存表分割槽的基本資訊。
part_id 分割槽id 1
create_time 分割槽建立時間
last_access_time 最後一次訪問時間
part_name 分割槽名 pt=2015-06-12
sd_id 分割槽儲存id 21
tbl_id 表id 2
partition_keys
該錶儲存分割槽的字段資訊。
tbl_id 表id 2
pkey_comment 分割槽字段說明
pkey_name 分割槽欄位名 pt
pkey_type 分割槽字段型別 string
integer_idx 分割槽字段順序 1
partition_key_vals
該錶儲存分割槽字段值
part_id 分割槽id 2
part_key_val 分割槽字段值 2015-06-12
integer_idx 分割槽字段值順序 0
partition_params
part_id 分割槽id 2
param_key 分割槽屬性名 numfiles、numrows、rawdatasize、totalsize、transient_lastddltime
param_value 分割槽屬性值 15、502195
第二十二天
區域性變數和全域性變數 在乙個函式內部定義的變數是內部變數,他只有在本函式範圍內才有效,在此函式之外是不能使用這些變數的,這稱為區域性變數。復合語句的的變數是可以用 全域性變數也叫外部變數 全域性變數從 定義從 開始用 變數的儲存類別 從空間上講剛剛的就是作用域 從空間 還可以從變數值存在的時間 生...
2018 05 28 第二十二天
class testarraysort static void main string args int compare tiger arg0,tiger arg1 int age int getage void setage int age void setname string name voi...
第二十二天實訓!!!!
類方法 也稱為靜態方法,表示類中物件的共有行為 宣告時前面需加 static 修飾符 不能被宣告為抽象的 類方法可以在不建立物件的情況下用類名直接呼叫,也可用類例項呼叫 包 是一組類的集合 乙個包可以包含若干個類檔案,還可包含若干個包 包的作用 將相關的源 檔案組織在一起 類名的空間管理,利用包來劃...