元資料是幫助使用者和技術人員對資料倉儲裡的資料理解，可以分為技術元資料和業務元資料。
技術元資料報含：
1：模型定義
定義資料倉儲裡各各種模型的功能，包括資料的口徑，各個欄位的含義，使用範圍，出數時間和頻率。
2：血緣定義
模型裡的源頭資料**，etl同步方式，時間，頻率，各個系統和表的上下游關係。
3：ods定義
模型裡的源頭表的源系統名稱，技術負責人，源頭表資料邏輯，資料更新方式。
4：許可權管理
管理資料倉儲平台上的業務人員和技術人員的資料許可權，可以分為庫的許可權，表的許可權，模型資料許可權。制定相關流程，方便平台使用者申請使用和業務owner審批。
業務元資料報含
主要是提供使用者在使用資料時能理解資料的含義，在碰到疑問時，可以找到相關業務部門了解資料的口徑和使用場景，讓資料有業務部門的owner，有了業務部門背書，此資料就是公司統一出來的口徑，官方的說明。
元資料管理
大資料倉儲越來越重視元資料的管理，但是元資料怎麼管理，還處於探索階段。這樣帶來的弊端顯而易見，就是1 及時性達不到，2 準確性達不到，3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉，迫切需要乙個介面展示具體指的意思，業務統計口徑等，用乙個web介面展示，但是後端還是e...
元資料管理
元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時，提供採集日誌資訊的檢視，檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌，採集的數量等等。元資料採集完成後，儲存在資料庫中，支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...
HDFS元資料管理
hdfs的目錄結構，包含哪些資料夾子資料夾，以及資料夾下面包含哪些檔案，以及每個檔案的block資訊 id,副本係數，block存放在那個datanode上 元資料存放在 name路徑下。在namenode的記憶體中有乙個樹形結構，存放的就是元資料資訊，對檔案的任何修改都在記憶體中有體現，但是如果機...