嘰裡呱啦實習第二十二天

2021-09-28 21:41:35 字數 3518 閱讀 9123

hive元資料表結構:

元資料表字段 說明 示例資料

1:hive資料庫相關的元資料表(dbs、database_params)

dbs:

該錶儲存hive中所有資料庫的基本資訊

db_id 資料庫id 2

param_key 引數名 測試庫

param_value 引數值 hdfs://namenode/user/hive/warehouse/jeff1234.db

dbs和database_params這兩張表通過db_id欄位關聯。

database_params:

該錶儲存資料庫的相關引數,在create database時候用

db_id 資料庫id 2

param_key 引數名 createby

param_value. 引數值 jeff1234

2:hive表和檢視相關的元資料表(tbls、table_params、tbl_privs)

tbls:

該表中儲存hive表、檢視、索引表的基本資訊。

tbl_id 表id 1

create_time 建立時間 1436317071

db_id 資料庫id 2(對應dbs中的db_id)

last_access_time 上次訪問時間 1436317071

owner 所有者 zhaojianfeng

retention 保留字段 0

sd_id 序列化配置資訊 86,對應sds表中的sd_id

tbl_name 表名 jeff1234

tbl_type 表型別 managed_table、external_table、index_table、virtual_view

view_expanded_text 檢視的詳細hql語句 selectjeff1234.pt,jeff1234.pcidfrom zhaojianfeng.jeff1234`

view_original_text 檢視的原始hql語句 select * from jeff1234

table_params:

該錶儲存表/檢視的屬性資訊。

tbl_id 表id 1

param_key 屬性名 totalsize、numrows、external

param_value 屬性值 970107336、21231028、true

tbl_privs:

該錶儲存表/檢視的授權資訊

tbl_grant_id 授權id 1

create_time 授權時間 1436320455

grant_option 0

grantor 授權執行使用者 zhaojianfeng

grantor_type 授權者型別 user

principal_name 被授權使用者 username

principal_type 被授權使用者型別 user

tbl_priv 許可權 select、alter

tbl_id 表id 22(對應tbls表中的tbl_id)

3:hive檔案儲存資訊相關的元資料表(sds、sd_params、serdes、serde_params)

sds:

該錶儲存檔案儲存的基本資訊,如input_format、output_format、是否壓縮等。

tbls表中的sd_id與該錶關聯,可以獲取hive表的儲存資訊。

sd_id 儲存資訊id 1

cd_id 字段資訊id 21,對應cds表

input_format 檔案輸入格式 org.apache.hadoop.mapred.textinputformat

is_compressed 是否壓縮 0

is_storedassubdirectories 是否以子目錄儲存 0

location hdfs路徑 hdfs://namenode/hivedata/warehouse/ut.db/t_jeff

num_buckets 分桶數量 5

output_format 檔案輸出格式 org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat

serde_id 序列化類id 3,對應serdes表

sd_params:

該錶儲存hive儲存的屬性資訊,在建立表時候使用

sd_id 儲存配置id 1

param_key 儲存屬性名

param_value 儲存屬性值

serdes:

該錶儲存序列化使用的類資訊

serde_id 序列化類配置id 1

name 序列化類別名

slib 序列化類 org.apache.hadoop.hive.serde2.lazy.lazy******serde

serde_params:

該錶儲存序列化的一些屬性、格式資訊,比如:行、列分隔符

serde_id 序列化類配置id 1

param_key 屬性名 field.delim

param_value 屬性值

4:hive表字段相關的元資料表(columns_v2)

columns_v2:

該錶儲存表對應的字段資訊

cd_id 字段資訊id 1

comment 字段注釋

column_name 欄位名 pt

type_name 字段型別 string

integer_idx 字段順序 2

5:hive表分割槽相關的元資料表(partitions、partition_keys、partition_key_vals、partition_params)

partitions:

該錶儲存表分割槽的基本資訊。

part_id 分割槽id 1

create_time 分割槽建立時間

last_access_time 最後一次訪問時間

part_name 分割槽名 pt=2015-06-12

sd_id 分割槽儲存id 21

tbl_id 表id 2

partition_keys

該錶儲存分割槽的字段資訊。

tbl_id 表id 2

pkey_comment 分割槽字段說明

pkey_name 分割槽欄位名 pt

pkey_type 分割槽字段型別 string

integer_idx 分割槽字段順序 1

partition_key_vals

該錶儲存分割槽字段值

part_id 分割槽id 2

part_key_val 分割槽字段值 2015-06-12

integer_idx 分割槽字段值順序 0

partition_params

part_id 分割槽id 2

param_key 分割槽屬性名 numfiles、numrows、rawdatasize、totalsize、transient_lastddltime

param_value 分割槽屬性值 15、502195

第二十二天

區域性變數和全域性變數 在乙個函式內部定義的變數是內部變數,他只有在本函式範圍內才有效,在此函式之外是不能使用這些變數的,這稱為區域性變數。復合語句的的變數是可以用 全域性變數也叫外部變數 全域性變數從 定義從 開始用 變數的儲存類別 從空間上講剛剛的就是作用域 從空間 還可以從變數值存在的時間 生...

2018 05 28 第二十二天

class testarraysort static void main string args int compare tiger arg0,tiger arg1 int age int getage void setage int age void setname string name voi...

第二十二天實訓!!!!

類方法 也稱為靜態方法,表示類中物件的共有行為 宣告時前面需加 static 修飾符 不能被宣告為抽象的 類方法可以在不建立物件的情況下用類名直接呼叫,也可用類例項呼叫 包 是一組類的集合 乙個包可以包含若干個類檔案,還可包含若干個包 包的作用 將相關的源 檔案組織在一起 類名的空間管理,利用包來劃...