雜感 關於資料倉儲的一點體會

2021-08-26 16:57:35 字數 774 閱讀 6323

剛才看到同事的簽名:沒有妞泡的情人節,調戲**吧!我只能:寫篇日誌轉移注意力吧,其實對我影響最大的是:酒店房價漲的厲害,差點露宿街頭了。

為什麼我每天都有忙不完的事情呢?

從我實習時就到這個專案組,但現在專案還沒有做完,年前拿到的竣工報告只有70%!!而現在又有忙不完的工作安排。為什麼呢?

雖然我們模型已經建好了,系統也每天在執行,每天的交易資料都按時採集過來,並裝載到資料倉儲中了。正常來說應該很快轉入運維了,而不是開發除錯。

但是雖然資料倉儲中有這麼多企業的寶貴資料資訊,但客戶不知道這些資料的準確度,尤其當這些資料裝載如程式,採用核算客戶資金,客戶持倉市值,時一旦出現小小失誤,他們開始懷疑資料倉儲裡的資料質量了。接著提出針對每個環節的資料校驗核對,工作就來了(趕緊寫核對指令碼)。

事實上我們資料質量做得不夠好。尤其對乙個複雜的系統,應用系統。比如oracle,它能夠讓人知道它每一步做了什麼。而我們還做不到,

e:有沒有在指定的時間抽取到符合要求的資料

t:有沒有在指定的時間內完成資料清洗,確定的清洗規則合理嗎?

l:能不能在指定的時間內完成資料裝載,如何保證完整裝載呢?(曾經遇到資料部分丟失的情況,折騰了乙個月!)

覺得專案裡實時資料處理也是我們非常蹩腳的方面。因為實時,頻率高,效能問題就來了,資料質量管理難度就增加了。需要實時處理的資料如果有流水號,時間戳,由於需求,設計特殊,這部分資料竟然還有大文字字段。我們是怎麼處理的?不說了,反正不是最佳實踐!

希望我們用上 information analyzer後能把資料質量管理好。

以後重點學習效能優化方面的。

關於資料倉儲 lookup表的一點看法

對於搞資料倉儲的人來說,面試的時候總會問及到lookup表的概念。對於搞資料倉儲的人來說,面試的時候總會問及到 lookup 表的概念,這個概念一開始對我而言也是很莫名其妙的 明明基礎表和事實表的乙個關聯就可以完成的事情需要什麼 lookup 表。通常的做法 select a.id,sum meas...

關於專案管理的一點雜感

閒下來的時候,忽然想到,算算工作時間也快8年了,作專案經理時間不長,前前後後加一起3年多點。有一段時間作產品,後來又作專案,自己覺得學到了一些東西,現在拿出來分享,歡迎討論。專案管理 團隊內部成員 溝通專案經理一定要和每個成員充分溝通,了解他們的想法和個人發展方向,每個人每個階段的希望和目標都是不同...

關於邏輯的一點體會

書摘 離散數學的基礎有三個主要內容 邏輯,集合和函式 離散數學及其應用第四版 邏輯為什麼有這樣的地位?書中先講了三點。1.logic has rules.這些規則給出了數學語句的準確含義。2.邏輯是所有數學推理的基礎。3.邏輯在許多方面的實際應用 計算機的設計,電腦程式的設計等領域。集合為什麼有這樣...