將「稀疏資料」變成「稠密資料」的思路

在做專案時我遇到了這樣的乙個問題：

財務給我們的資料並不是每天都有的，由於財務人員並不是每天都記賬，造成資料不是連續性。例如：「應收賬款」表中的資料為。2023年1月1日有資料；然後就到2023年3月2日出現第二條資料。這樣就造成我們資料之間有間隔。

我們想要的資料形式為，即使沒有發生交易，在財務那裡應該將交易額記為0，但現實情況不是這樣。解決這樣的情況思路為：

1、準備乙個全時間的，時間維表。這樣保證時間是連續的。（如下圖）

select *　from t99_dt_cd

2、對時間補全的事實表進行處理。將事實表中的所有維度全部總結出來，準備於時間維表進行笛卡爾積的處理。

select distinct unitcode,unitname,bproperty,igrade,ywxcode,ywxname,pronum,province from table_事實表 . 需要distinct 的處理。

3、出來的結果作為表，與時間維表進行笛卡爾積。如下

select b.unitcode,b.unitname,substr(a.stat_dt,1,4)

,case when substr(a.stat_dt,6,1) = '0' then substr(a.stat_dt,7,1) else substr(a.stat_dt,6,2) end,a.stat_dt||' 00:00:00'

,b.bproperty,b.igrade,b.ywxcode,b.ywxname,b.pronum,b.province,0,0

from

(select distinct unitcode,unitname,bproperty,igrade

,ywxcode

,ywxname,pronum,province

from v_yszkjc_20110901) b,

(select stat_dt from pdata_dev..t99_dt_cd

where current_dt >= '20110101' and current_dt這時要注意指標欄位先寫死為0資料。

4、這時將得出來的結果插入到乙個臨時表中，這個臨時表中的資料就是事實表中，全部維度下全部時間的資料了。

5、將事實表中的真實資料在插入到這個臨時表中，按照所有維度進行 group by 。指標欄位sum（）的方法，就能就資料合併到一起了，能合併是資料都是有發生額。這樣既能將沒有發生資料的日期補充完成，又能保證資料的準確。