資料倉儲分層理論

2021-09-25 18:38:57 字數 729 閱讀 9699

cif 層次架構(資訊工廠)通過分層將不同的建模方案引入到不同的層次中,cif 將資料倉儲分為四層,如下圖所示:

① ods(operational data store):運算元據儲存層,往往是業務資料庫**的一對一對映,將業務資料庫中的**在 ods重新建立,資料完全一致

② dwd(data warehouse detail):資料明細層,在 dwd 進行資料的清洗、脫敏、統一化等操作,dwd 層的資料是乾淨並且具有良好一致性的資料。

③ dws(data warehouse service):服務資料層(公共彙總層),在 dws 層進行輕度彙總,為 dm 層中的不同主題提供公用的彙總資料。

④ dm(data market):資料集市層,dm 層針對不同的主題進行統計報表的生成。

① 按照使用部門劃分集市主題

② 按照業務模組劃分集市主題

資料倉儲分層

下面的內容是基於參考中的文件進行的二次讀書筆記。傳統行業的資料倉儲工程師,開始嘗試架構工程領域比較流行的er模型 維度模型方式,構建出乙個四層的模型架構 阿里在構建er時碰到了較大的挑戰,主要是業務快速發展,人員快速變化 業務知識功底的不夠全面,導致er模型產出困難。阿里得出了乙個結論 在不太成熟 ...

資料倉儲分層

資料倉儲更多代表的是一種對資料的管理和使用的方式,它是一整套包括了etl 排程 建模在內的完整的理論體系。現在所謂的大資料更多的是一種資料量級的增大和工具的上的更新。兩者並無衝突,相反,而是一種更好的結合。資料倉儲在構建過程中通常都需要進行分層處理。業務不同,分層的技術處理手段也不同。分層的主要原因...

資料倉儲分層

資料倉儲分層的主要原因是在管理資料的時候,能對資料有乙個更加清晰的掌控,詳細來講,主要有下面幾個原因 為什麼最低要分三層呢?在實際的生產環境中,資料倉儲的資料一般會有多個 資料可能比較亂,有很多的髒資料,資料的單位可能會不一樣等原因,我們要對資料進行分析或者對資料進行聚合等操作顯然不那麼方便,這時候...