資料倉儲的難點和痛點

2021-06-19 22:52:20 字數 671 閱讀 4462

想想自己也接觸過5個以上的資料倉儲專案了,現在想起來沒有乙個資料倉儲專案得到了客戶的肯定,大部分的倉庫專案也就是達到了給客戶提取提取報表資料的要求,可是做為一直從事資料倉儲後台專案的人員,不免還是對怎麼實施乙個資料倉儲專案感到還是沒有乙個不錯的方案.

現在想想之前做過的資料倉儲專案,想想後台最讓人頭疼的問題不是排程問題,而是沒有乙個人能說清楚到底牧歌指標的具體口徑是什麼,之前為了應對資料指標羅技錯誤的問題,還有個專案專門出了乙個技術口徑和業務口徑這兩個概念專門用來應對這種牽涉到資料質量核查的情況.

其二就是資料倉儲專案的資料加工錯綜複雜,很少有人能把左右字段處理過程記的一清二楚,相反的每次經常會碰到專案組的人員採用的都是道聽途說的溝通方式.那些經常被人使喚的xx你去查一下這個指標的是怎麼加工的苦逼處境.

總之,清晰的資料血緣關係,精確的kpi口徑.讓每個資料倉儲專案人員都知道資料是怎麼來的經過了怎麼樣的流轉變成了什麼樣.那這個資料倉儲專案應該算是個成功的專案.

所以有必要將資料血緣關係,kpi口徑這兩個因素作為衡量乙個資料倉儲專案成功與否的評價標準,或許解決了這兩個問題後,資料倉儲介面變更就不會變的像是一場所謂的災難發生了.

當然了解決這兩個問題就需要一些bi工具的幫忙了,甚至資料庫選型都會對整個資料倉儲專案的建設週期和質量產生至關重要的影響.讓倉庫更透明,讓人人成為資料分析專家.解決掉bi專案綁人的弊端.讓倉庫專案更快捷更高效.更簡單.

資料倉儲開發難點有哪些?

最近有朋友在問,資料倉儲開發的難點有哪些?做了幾年的資料倉儲,談資料倉儲技術難點,我個人覺得沒有,什麼大資料量查詢及處理,資料倉儲etl過程,這些都不是難點,問題是有沒有想到的問題,就拿大資料量處理來說,現在的分布式資料庫廠商越來越多,ncr dwa等,都能解決這些問題。我覺得資料倉儲最難的是了解業...

資料跨境合規主要痛點 難點

隨著經濟全球化 數位化的深入發展,企業開展境外業務時面臨的資料跨境監管形勢日益嚴峻,資料跨境管控過程的痛點 難點,成為資料合規治理的熱點 焦點。資料多樣,跨境資料的法律屬性識別與分類困難 資料體量大。大資料背景下,企業生產經營過程中產生的資料呈 式增長,且涉及資料 型別豐富多變。從資料主體角度,包括...

資料倉儲(六) 資料倉儲的概念設計

在資料集市設計中可以使用3種基本的系統方法 資料驅動的方法 需求驅動的方法和混合方法。它們的區別在於源資料庫分析和終端使用者需求分析階段所佔的比重。方法的選擇將極大地影響概念設計的方式。資料驅動方法包括 基於實體 關係模式的設計 基於關係模式的設計 基於xml模式的設計。概念型實體 關係模式比關係型...