一、建立拉鍊表
1)假如首日是2022-02-24,首先將資料從ods層載入到dim層,分割槽日期和結束日期都為9999-00-00
2)第二日2022-02-25,一部分使用者新增變化,需要把新增的和變化的裝載到dim層,分割槽結束日期是9999分割槽,但要注意9999分割槽有一部分過期資料(過期理解為資料發生了變化後,變化前的資料是過期資料)需要裝載到變化前一日即5月1日分割槽(過期的使用者資料分割槽),就是將過期資料裝載到前一日分割槽,有效資料是9999分割槽;
3)第三日2022-02-26,和25日一樣,新增資料放入9999分割槽,過期資料放入前一日分割槽;
二、拉鍊表回滾
Hive拉鍊表設計方案
定義 所謂拉鍊,就是記錄歷史。記錄乙個事物從開始,一直到當前狀態的所有變化的資訊。使用場景 舉個栗子,現有一張內含1000萬資料的訂單表,每天都有100左右的訂單狀態會變化,因業務需求要回溯某個歷史節點的一筆訂單的狀態。現有兩種處理方式 1.比較原始的做法,對每天的資料做切片表,檢視對應時間的切片表...
歷史拉鍊表
在資料倉儲的資料模型設計過程中,經常會遇到這樣的需求 1.資料量比較大 2.表中的部分欄位會被update,如使用者的位址,產品的描述資訊,訂單的狀態等等 3.需要檢視某乙個時間點或者時間段的歷史快照資訊,比如,檢視某乙個訂單在歷史某乙個時間點的狀態,比如,檢視某乙個使用者在過去某一段時間內,更新過...
什麼是拉鍊表
在資料倉儲的資料模型設計過程中,經常會遇到這樣的需求 1.資料量比較大 2.表中的部分欄位會被update,如使用者的位址,產品的描述資訊,訂單的狀態等等 3.需要檢視某乙個時間點或者時間段的歷史快照資訊,比如,檢視某乙個訂單在歷史某乙個時間點的狀態,比如,檢視某乙個使用者在過去某一段時間內,更新過...