資料倉儲介紹

2022-08-16 03:39:11 字數 2067 閱讀 4545

備註:根據網路資源整理(數倉分層部分待進一步研究)

一. 定義

理解:資料倉儲是資料庫一種概念上的公升級,為滿足業務需求而設計,提供了各種型別的資料支援,容納更多的資料。為企業所有級別的決策制定過程,提供所有型別資料支撐的戰略集合,主要是用於資料探勘和資料分析,以建立資料沙盤為基礎,為消滅訊息孤島和支援決策為目的而建立的。

二. 資料倉儲的特徵

資料倉儲的特徵在於面向主題、整合性、穩定性和時變性。

1)面向主題

操作型資料庫的資料組織面向事務處理任務,而資料倉儲中的資料是按照一定的主題域進行組織。主題是指使用者使用資料倉儲進行決策時所關心的重點方面,乙個主題通常與多個操作型資訊系統相關。

2)整合性

資料倉儲的資料是從原有分散的資料庫中的資料抽取而來的。(過程中包含etl處理)

資料倉儲中的資料是在對原有分散的資料庫資料抽取、清理的基礎上經過系統加工、彙總和整理得到的,必須消除源資料中的不一致性,以保證資料倉儲內的資訊是關於整個企業的一致的全域性資訊。

資料倉儲的資料主要供企業決策分析之用,所涉及的資料操作主要是資料查詢,一旦某個資料進入資料倉儲以後,一般情況下將被長期保留,也就是資料倉儲中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的載入、重新整理。

資料倉儲中的資料通常包含歷史資訊,系統記錄了企業從過去某一時點(如開始應用資料倉儲的時點)到當前的各個階段的資訊,通過這些資訊,可以對企業的發展歷程和未來趨勢做出定量分析和**。

3)資料倉儲的資料是不可更新的

資料倉儲主要是為決策分析提供資料,所涉及的操作主要是資料的查詢,沒有傳統資料庫的增刪改操作。資料倉儲的資料反映的是一段相當長的時間內歷史資料的內容,是不同時點的資料庫快照的集合,以及基於這些快照進行統計、綜合和重組的匯出資料,而不是聯機處理的資料。

4)隨時間變化

資料倉儲中的資料不可更新是針對應用來說,從資料的進入到刪除的整個生命週期中,資料倉儲的資料是永遠不變的。但資料倉儲的資料是隨著時間變化而不斷增加新的資料。資料倉儲隨著時間變化也不斷刪去久的資料內容(資料庫的資料時限一般是60 ~ 90天,而資料倉儲的資料一般是5年~10年)。

三. 資料倉儲和資料庫的區別

資料庫:是一種邏輯概念,用來存放資料的倉庫。通過資料庫軟體來實現。資料庫由很多表組成,表是二維的,一張表裡可以有很多字段。字段一字排開,對應的資料就一行一行寫入表中。資料庫的表,在於能夠用二維表現多維關係。目前市面上流行的資料庫都是二維資料庫。如:oracle、db2、mysql、sybase、ms sql server等。

業務資料庫中的資料結構是為了完成交易而設計的,不是為了而查詢和分析的便利設計的。

業務資料庫大多是讀寫優化的,即又要讀(檢視商品資訊),也要寫(產生訂單,完成支付)。

資料倉儲:是資料庫概念的公升級。從邏輯上理解,資料庫和資料倉儲沒有區別,都是通過資料庫軟體實現的存放資料的地方,只不過從資料量來說,資料倉儲要比資料庫更龐大得多。資料倉儲主要用於資料探勘和資料分析,輔助領導做決策。

資料倉儲的表結構是依照分析需求,分析維度,分析指標進行設計的。

四. 資料倉儲分層/常用系統架構

1. 分層

2. 技術實現

五. 縮寫

業務系統 oltp

資料轉換 etl

運算元據 dds

資料倉儲 dw

多維分析 olap

報表分析 rpt

前端展現 eis

資料探勘 dm--data mining

元資料管理 md--metadata

六. 其他

資料倉儲介紹

什麼是數倉 資料倉儲簡稱dw,就是乙個用以更好地支援企業或組織的決策分析處理的 面向主題的 整合的 不可更新的 隨時間不斷變化的資料集合。為什麼要有數倉 主要因為面向應用型的應用的資料庫設計一般是操作型的,而資料分析或者資料探勘都是面向分析型的應用。這兩種應用各有特點和適用的場景,對資料的處理應當分...

資料倉儲之簡單介紹

什麼是資料倉儲?乙個面向主題的 整合的 隨時間變化的 非易失的資料集合,用於支援管理者的決策過程。面向主題 如去年買了100w貨以上的使用者有哪些?這個場景就是乙個銷售的資料主題。整合 假設公司有多個產品線分別在不同的資料庫,要統計總銷量,就可以把各個資料整合在資料倉儲 隨時間變化 資料隨著時間變化...

技術分享 資料倉儲介紹

1991年bill inmon出版的 building the data warehouse 一書中正式提出了資料倉儲的概念,inmon也被人成為資料倉儲之父。從本質上說,資料倉儲是一種從操作型系統到決策支援環境的資料流架構模型。這定義看上去有些抽象,解釋起來還要從資料庫說起。資料庫是在資訊化初期,...