數倉設計規範

2021-09-28 13:08:24 字數 1272 閱讀 5482

此規範源自滴滴工作期間的實踐

一、數倉層級層級

全拼中文說明

備註dim

dimension

維度層dim資料層的表主要存放維度資料。資料表可以由手動維護的乙個檔案生成,或者先將mysql的原始資料表拉取到ods層,在通過hql轉換為dim表。

該層為維度資料,維度是對具體分析物件的分析角度,維度要具備豐富的屬性,歷史資訊的可追溯性,對通用的維表要保持一致性,避免維度二義性。

dm  

data market

集市層dm資料層的表存放統計結果表,用於報表頁面展示。

按業務主題組織高度彙總資料,產出通用的指標資料,統一指標計算口徑和方法,避免指標冗餘計算導致資料不一致。

面向具體統計需求的;按業務主題劃分;對資料進行高度彙總;同一指標只能儲存在一張表中;盡量避免dm層表依賴dm表。

粒度:對於多粒度多層級的彙總。

dwmdata warehouse model

彙總層dwm資料層的表是對ods層或dwv的資料表進行微聚合。

按業務主題組織輕度彙總資料,產出通用、穩定的預處理資料,盡可能多的滿足資料需求,避免後期重複計算。盡量避免dw層表依賴dw表。

dwv / dwd

data warehouse view / detail

明細層dwv資料層的表是對ods層資料表的關聯、字段重新命名或型別轉換。

按業務主題組織明細資料,產出資料格式統

一、質量可靠、易於應用的業務明細資料。

按業務主題劃分;對資料進行清洗、轉換、聚合,一般不做彙總操作。

為縮短資料計算的鏈路,沒有必要每個ods表都一一建立dwd表。最多的場景是做資料聚合時建立。

odsoperational data store

源資料層

ods資料層的表主要存放原始資料資訊。

該層接收來自不同源系統資料,只用於資料倉儲內部使用,不對外開放。為方便問題跟蹤和抽取效率,同時保持響應相關需求的能力,

該層資料原則上和源系統資料保持一致,不做任何處理。

字段規範

二、主題

主題是根據本公司的業務進行劃分的。

主題可以分主題、子主題兩級:對於按業務群建立的數倉,先按業務線分主題,然後再分子主題。

主題英文命名儲存業務線內一致即可。

主題舉例如下。

主題主題型別

使用者通用

訂單通用

交易通用

營銷通用

訪問通用

UI設計規範

以使用者為中心。設計由使用者控制的介面,而不是介面控制使用者。清楚一致的設計。所有介面的風格保持一致,所有具有相同含義的術語保持一致,且易於理解 較快的響應速度。簡單且美觀。使用者介面設計的乙個重要原則是使用者應該總是感覺在控制軟體而不是感覺被軟體所控制。操作上假設是使用者 而不是計算機或軟體 開始...

硬體設計規範

1 硬體需求說明書 2 硬體總體設計報告 3 單板硬體總體設計方案 4 單板硬體詳細設計 5 單板硬體過程除錯文件 6 單板硬體系統除錯報告 7 單板硬體測試文件 8 硬體總體方案歸檔詳細文件 9 硬體單板總體方案歸檔詳細文件 10 硬體資訊庫 2.2.2 硬體開發文件編制規範詳解 1 硬體需求說明...

Mysql設計規範

資料庫命名規範 1 所有資料庫物件名稱必須使用小寫字母並用下劃線分割。2 所有資料庫物件名稱禁止使用mysql保留關鍵字 3 資料庫物件的命名要能做到見名識義,並且最好不要超過32個字元。4 臨時表必須以tmp為字首並以日期為字尾。5 備份庫,備份表必須以bak為字首並以日期為字尾。6 所有儲存相同...