週期型快照事實表

2021-10-22 20:42:34 字數 1153 閱讀 9643

週期型快照事實表中不會保留所有資料,只保留固定時間間隔的資料,例如每天或者每個月的銷售額,或者每月的賬戶餘額等。

例如購物車,有加減商品,隨時都有可能變化,但是我們更關係每天結束時這裡面有多少商品,方便我們後期統計分析。

累計快照事實表用於跟蹤業務事實的變化

1)事務型事實表

以每個事務或事件為單位,例如乙個銷售訂單記錄,一筆支付記錄等,作為事實表裡的一行資料

2)週期型快照事實表

3)累計型快照事實表:用於跟蹤業務事實的變化。

事實表的特徵:非常的大,

內容相對的窄:列數較少(主要是外來鍵id和度量值)

星座模型和前兩種情況的區別時事實表的數量:星座模型是基於多個事實表

選星型還是雪花,取決於效能優先還是靈活優先。

**ods層:**1.hdfs使用者行為資料2.hdfs業務資料

所以ods層只有乙個表,其中只有乙個字段。

3.針對hdfs上的使用者行為資料和業務資料,我們如何規劃處理?

1)保持資料原貌不做任何修改,起到備份資料的作用

2)資料採用壓縮,減少磁碟儲存空間(例如:原始資料100g,可以壓縮到10g左右)

dwd層:dwd層需要構建維度模型,一般採用星型模型,呈現的狀態一般為星座模型。

維度建模一般按照一下四個步驟:

選擇業務過程->宣告粒度->確認維度->確認事實

1)選擇業務過程

在業務過程中,挑選我們感興趣的業務線,一條業務線就對應一張事實表

2)宣告粒度:

資料粒度是指資料倉儲中儲存資料的細化程式或者綜合程度的級別

宣告粒度意味著精確定義事實表中的一行資料表示什麼,應該盡可能選擇最小粒度,依次來應各種各樣的需求。

典型的粒度宣告如下:

dws層和dwt層:

dws層和dwt層統稱為寬表層,這兩層的設計思路大致相同,

總結:1)需要建那些寬表,以維度為基準

2)寬表裡面的字段:是站在不同維度的角度去看事實表,重點關注事實表聚合後的度量值

3)dws和dwt層的區別:dws層存放的所有主題物件當天的彙總行為,dwt層存放的是所有主題物件的累計行為

ads層:對電商系統各大主題指標分別進行分析

週期快照事實表和累計快照事實表

累計快照事實表的這種最簡單的實現方法中沒有給出保留中間點的歷史資訊的方法,如訂單本身的變化。至少有三種方法可以用來捕獲這種中間的狀態的變化 1 在諸如月末等的固定時間間隔對累計快照再進行快照處理,即聯合使用週期快照和累計快照技術。這種累計快照的週期快照事實表應該被建立為單獨的事實表,可以降低應用的複...

交易事實表 週期快照事實表和累積快照事實表

在資料倉儲領域有乙個概念叫transaction fact table,中文一般翻譯為 事務事實表 事務事實表是維度建模的資料倉儲中三種基本型別事實表中的一種,另外兩種分別是週期快照事實表和累積快照事實表。事務事實表與週期快照事實表 累積快照事實表使用相同的一致性維度,但是它們在描述業務事實方面是有...

交易事實表 週期快照事實表和累積快照事實表

在資料倉儲領域有乙個概念叫transaction fact table,中文一般翻譯為 事務事實表 事務事實表是維度建模的資料倉儲中三種基本型別事實表中的一種,另外兩種分別是週期快照事實表和累積快照事實表。事務事實表與週期快照事實表 累積快照事實表使用相同的一致性維度,但是它們在描述業務事實方面是有...