資料倉儲1 數倉的意義

2021-10-20 04:11:04 字數 1161 閱讀 2919

在進行資料分析的時候,我們總會遇到一些名詞,比如資料倉儲。資料倉儲是資料分析中乙個比較重要的東西,資料倉儲是乙個面向主題的、整合的、相對穩定的、反應歷史變化的資料集合。下面就說一下資料分析中的資料倉儲。

對資料分析的理解大家應該都是比較熟悉的,資料分析的流程有很多,首先需要進行對業務的理解,然後就是對資料的理解,挖掘資料,資料處理,資料分析,資料展現,這些步驟就能夠給大家帶來乙個不錯的資料分析結果。

但是資料分析中的工作最重要的就是資料處理工作,由於資料分析對資料質量、格式的要求比較高,對資料的理解也必須非常深刻,使得資料契合業務需求也要一定的過程,根據我做資料分析的經驗,在整個資料分析流程中,用於資料處理的時間往往要佔據70%以上。所以,如何高效、快速地進行資料理解和處理,往往決定了資料分析專案的進度和質量。而資料倉儲具有整合、穩定、高質量等特點,基於資料倉儲為資料分析提供資料,往往能夠更加保證資料質量和資料完整性。

如果要做好資料分析的時候,要使用etl工具構建資料倉儲提公升資料分析效果需要從三個方面。分別是資料理解、資料質量、資料跨系統關聯。

資料倉儲是面向主題的,所以其自身與業務結合就相對緊密和完善,更方便資料分析師基於資料理解業務。而資料倉儲是有很多的主題組成,包括了很多的資料。當需要對資料進行分析的時候,如果理解資料倉儲的模型,資料理解也就水到渠成了。

資料分析的時候要求資料是乾淨、完整的,而資料倉儲已經對源系統的資料進行了業務契合的轉換,以及髒資料的清洗,這就為資料分析的資料質量做了較好的保障。

資料跨系統關聯資料倉儲的乙個簡單架構,各業務源系統的資料經過etl過程後流入資料倉儲,當不同系統資料整合到資料倉儲之後,至少解決了資料分析中的兩個問題:

第一,跨系統資料收集問題

在金融分析中同乙個客戶的儲蓄交易和理財交易我們在同一張事實表就可以找到;

第二,跨系統關聯問題

進行資料整合時,總是需要找到共同點來關聯來自不同系統的資訊,而資料倉儲在etl過程中就會整合相關客戶資訊,完美解決跨系統關聯問題。

資料倉儲入門基礎 1 漫談數倉

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。資料倉儲的特徵在於面向主...

資料倉儲 數倉分層 01

資料倉儲,資料倉儲是面向主題的 subject oriented 整合的 integrated 非易失的 non volatile 和時變的 time variant 資料集合,用以支援管理決策。每個資料倉儲面向分析的主題都是一樣的 資料倉儲需要分析某乙個主題的資料結果,需要整合各個其他方面的資料 ...

資料倉儲與數倉建模

資料倉儲,英文名為data warehouse,簡寫為dw或dwh。資料倉儲,是乙個面向主題的 整合的 隨時間變化的 但資訊本身相對穩定的資料集合,用於對管理決策過程的支援1。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及...