數倉的分層

一、數倉為什麼要分層？

1、分層解耦，可以讓開發思路更加清晰，複雜問題簡單化(出錯時，可以精確定位資料)

2、節省重複開發

3、脫敏

二、數倉的分層

以5層數倉為例

ods層：原始資料層，原始資料原封不動的直接匯入！

dwd層：基於ods層，將原始資料進行清洗，篩選後的資料，把其中的明細開啟

例如：啟動日誌原始資料：

展開後，可以獲得具體每個欄位的值，

dws層：為後續的分析提供資料服務，基於dwd層，將dwd層的資料按天進行聚合！

例如：統計每天新增的使用者，每天的訂單量，每天的交易額

ads層：基於dwt層，統計具體報表需要的結果

一數倉為什麼要分層？1 分層解耦，可以讓開發思路更加清晰，複雜問題簡單化出錯時，可以精確定位資料 2 節省重複開發 3 脫敏二數倉的分層以5層數倉為例 ods層原始資料層，原始資料原封不動的直接匯入！dwd層基於ods層，將原始資料進行清洗，篩選後的資料，把其中的明細開啟例如啟動日...

介紹資料分層的作用提出一種通用的資料分層設計，以及分層設計的原則舉出具體的例子說明提出可落地的實踐意見 0x01 資料分層？為什麼要設計資料分層？這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題，類似的問題可能會有很多，比如說為什麼要做資料倉儲？為什麼要做元資料管理？為什麼要做資料質量...

數倉分層 ods層 1 保持教據原貌不做任何修改，備份 2 建立分割槽表，防止後續的全表掃瞄 3 採用lzo壓縮，並建立索引切片 4 建立外部表多人共用內部表自己使用的臨時表 dwd層 1 數倉維度建模星型模型維度退化商品表品類表 spu表分類二級分類一級分類商品表省份地...