資料倉儲領域的權威w.h.inmon給出了資料倉儲的乙個簡短而全面的定義:資料倉儲是乙個面向主題、整合、時變、非易失的資料集合,是支援管理部門的決策過程。根據該定義,資料倉儲具備以下四個關鍵特徵:
1.1 面向主題(subject oriented)的資料集合
資料倉儲通常圍繞一些主題,如「產品」、「銷售商」、「消費者」等來進行 組織。資料倉儲關注的是決策者的資料建模與分析,而不針對日常操作和事務的處理。因此,資料倉儲提供了特定主題的簡明檢視,排除了對於決策無用的資料。
1.2 整合(integrated)的資料集合
資料倉儲通常是結合多個異種資料來源構成的,異種資料來源可能包括關聯式資料庫、物件導向資料庫、文字資料庫、web資料庫、一般檔案等。
1.3 時變(time variant)的資料集合
資料儲存從歷史的角度提供資訊,資料倉儲中包含時間元素,它所提供的資訊總是與時間相關聯的。數掘倉庫中儲存的是乙個時間段的資料,而不僅僅是某乙個時刻的資料。
1.4 非易失(nonvolatile)的資料集合
資料倉儲總是與操作環境下的實時應用資料物理地分離存放,因此不需要事務處理、恢復和併發控制機制。資料倉儲裡的資料通常只需要兩種操作:初始化載入和資料訪問,因此其資料相對穩定,極少或根本不更新。
綜上所述,資料倉儲是一種語義上一致的資料儲存,它充當決策支援資料模型的物理實現,並存放企業戰略決策所需資訊。資料倉儲也常常被視為一種體系結構,通過將異種資料來源中的資料整合在一起而構成,支援結構化和專門的查詢、分析報告和決策制定。
資料倉儲的型別根據資料倉儲所管理的資料型別和它們所解決的企業問題範圍,一般可將資料倉儲分為下列3種型別:企業資料倉儲(edw)、操作型資料庫(ods)和資料市集(datamart)。 ①企業資料倉儲為通用資料倉儲,它既含有大量詳細的資料,也含有大量累贅的或聚集的資料,這些資料具有不易改變性和面向歷史性。此種資料倉儲被用來進行涵 蓋多種企業領域上的戰略或戰術上的決策。②操作型資料庫既可以被用來針對工作資料做決策支援,又可用做將資料載入到資料倉儲時的過渡區域。與edw相比較,ods有下列特點:ods是面向主題和面向綜合的;ods是易變的;ods僅僅含有目前的、詳細的資料,不含有累計的、歷史性的資料。③資料市集是資料倉儲的一種具體化,它可以包含輕度累計、歷史的部門資料,適合特定企業中某個部門的需要。幾組資料市集可以組成乙個edw(在以後部分將會重點提到)。隨著資料倉儲發展的需求,軟體工具公升級相當快,新產品也層出不窮。為了便於追蹤其技術發展和更好地選擇相關的工具,資料倉儲的構造者應該廣泛地收集這方面的檔案和資料,以便做出最佳的選擇。
傳統的關係型資料庫rdb遵循一致的關係型模型,其中的資料(記錄)以**的方式儲存,並且能用統一的結構化查詢語言(structual query language,sql)進行資料查詢,因此它的應用常被稱為聯機交易處理(oltp), 其重點在於完成業務處理,及時給予客戶響應。關係型資料庫能夠處理大型資料庫,但不能將其簡單地堆砌就直接作為資料倉儲來使用。資料倉儲主要工作的物件為 多維資料,因此又稱為多維資料庫。多維資料庫的資料以陣列方式儲存,既沒有統一的規律可循,也沒有統一的多維模型可循,它只能按其所屬類別進行歸類。以應 用而言,多維資料庫應該具備極強的查詢能力,多維資料庫中儲存的資訊既多又廣,但由於其完成的是一種聯機事物分析(olap),因此並不追求瞬時的響應時間,在有限的時間中給予響應即被認可。實際上,olap包 含互動式的資料查詢,伴隨著多種分析方法,例如下鑽或成功地鑽入到最底層的細節資訊上。因此資料倉儲中的資訊,儘管是多維的,仍然可以用具體的**表示。 儘管資料倉儲與傳統資料庫之間存在著如此大的差異,但設計資料倉儲並不是完全另起爐灶,而可利用現有的傳統處理資料,從中進行資訊的綜合,從而構造出滿足 不同需求的資料倉儲。即資料從動態的、目前事件驅動的傳統工作資料流向靜態的、歷史性質的資料倉儲。從理論上說,從工作資料中戰略性地引入到期的資料可以 完成這種轉變,但是由於受到實際儲存容量和技術的限制,這實際上是不可能的。因此必須從工作資料中分離和篩選資料進入到資料倉儲中。鑑於以上各種因素,為 保證olap的效能,必須將資料倉儲和傳統工作的資料相分離。
資料倉儲簡介
資料倉儲 引用 資料倉儲自上而下的框架之後,資料的同步,資料的儲存計算,資料的計算,資料的分析,資料的展現,這些階段上建設資料倉儲有什麼樣的解決方案呢?首先是資料同步 資料來源 ods層 etl工具的選擇 主流的etl工具有informatica,datastage,kettle 其次是資料的儲存計...
資料倉儲簡介 概況
1 資料倉儲的定義 資料倉儲是乙個面向主題的 整合的 穩定的 反映歷史變化的 隨著時間的流逝發生變化的資料集合。它主要支援管理人員的決策分析。資料倉儲收集了企業相關內部和外部各個業務系統資料來源 歸檔檔案等一系列歷史資料,最後轉化成企業需要的戰略決策資訊。2 資料倉儲的特點 3 資料倉儲和資料庫的區...
資料倉儲簡介 概況
1 資料倉儲的定義 資料倉儲是乙個面向主題的 整合的 穩定的 反映歷史變化的 隨著時間的流逝發生變化的資料集合。它主要支援管理人員的決策分析。資料倉儲收集了企業相關內部和外部各個業務系統資料來源 歸檔檔案等一系列歷史資料,最後轉化成企業需要的戰略決策資訊。2 資料倉儲的特點 3 資料倉儲和資料庫的區...