隨筆 關於元資料

2021-04-24 14:44:01 字數 774 閱讀 6329

資料倉儲的規模越大,元資料就越能體現出它的作用。就像一本書,如果內容不多,有無目錄像響不大,

如果厚達幾百頁而又沒有目錄,頁碼,那麼使用這本書簡直是受罪。

日常生活也是如此,到處是元資料帶給我們的便利。想想我們去圖書館,音像店,甚至是餐館點菜的菜譜。。。

etl方面,元資料一樣重要。有些公司在一開始就依賴工具。這樣入口統一,規則也統一,所以元資料收集比較方便,準確。

也有一些公司是先coding的方式,這在幾年前比較常見。由於那時候公司管理者還不知道資料倉儲能帶來的價值,

往往是抱著先試試看的態度。而coding的優點就是靈活,效率高,前期投入少。

往往經過n年的發展後,問題也會出來,尤其是在一些業務高速發展的公司。後期會變得維護困難,維護的成本很大。

而且小組成員越來越多,coding風格不一,隨意性較大,互相維護起來更不易。

這時候,就需要一次徹底整理。從底層幾十萬行**中,提煉出核心的步驟,

比如a、模組間的排程關係,可以直觀知道乙個模組是放在哪個模組排程的,那個模組的源頭又有哪些模組。

b、表與表間的轉換關係,乙個事實表,它是由哪些事實表計算得來的。又有哪些表是依賴它生成的。

再細下去可到字段級別。如a表的b欄位,是從c表的d欄位,經過sum()得來的。

但個人覺得,要實現字段級別,前提是已經存在較嚴格的編碼規範並嚴格遵守。否則,想實現這個難度還是很高的,

除非你是想手工一行行的整理,那就沒有難度可言,只是時間問題。

但,不管難度怎麼樣,要花多少時間,一旦成功做出來,效果將是非常可喜的,你也一定會覺得很值得。

關於元資料的理解

元資料 metadata 官方定義 是描述其它資料的資料 data about other data 或者說是用於提供某種資源的有關資訊的結構資料 structured data 覺得定義很抽象,我直接for example 這是artist表,有兩個屬性 artistid,name 這是元資料,也...

關於hession 隨筆

今天遇到乙個問題,糾結了很久也沒有解決,情況是這樣的,我這個專案使用的是 hession 通訊。我做的業務很簡單,只是新加了乙個介面 這 個介面是廣告那一塊的,資料庫在之前的專案裡面都沒有使用到addb,所以需要在spring的配置裡面新增addb jdbc.xml 總結 在這樣的專案中,遇到這樣的...

MySQL資料庫 關於查詢 隨筆

select id,title,haha mark from course select from select from relation temp left join audio audio on audio.id temp.audio id order by temp.id desc批量更新條...