資料倉儲,什麼是資料倉儲?

2021-08-06 04:30:12 字數 2504 閱讀 5445

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。 為企業提供需要業務智慧型來指導業務流程改進和監視時間、成本、質量和控制。

資料倉儲是決策支援系統(dss)和聯機分析應用資料來源的結構化資料環境。資料倉儲研究和解決從資料庫中獲取資訊的問題。資料倉儲的特徵在於面向主題、整合性、穩定性和時變性。

資料倉儲 ,由資料倉儲之父比爾·恩門(bill inmon)於2023年提出,主要功能仍是將組織透過資訊系統之聯機事務處理(oltp)經年累月所累積的大量資料,透過資料倉儲理論所特有的資料儲存架構,作一有系統的分析整理,以利各種分析方法如聯機分析處理(olap)、資料探勘(data mining)之進行,並進而支援如決策支援系統(dss)、主管資訊系統(eis)之建立,幫助決策者能快速有效的自大量資料中,分析出有價值的資訊,以利決策擬定及快速回應外在環境變動,幫助建構商業智慧型(bi)。

資料倉儲之父比爾·恩門(bill inmon)在2023年出版的「building the data warehouse」(《建立資料倉儲》)一書中所提出的定義被廣泛接受——資料倉儲(data warehouse)是乙個面向主題的(subject oriented)、整合的(integrated)、相對穩定的(non-volatile)、反映歷史變化(time variant)的資料集合,用於支援管理決策(decision ****** support)。

1、資料倉儲是面向主題的;操作型資料庫的資料組織面向事務處理任務,而資料倉儲中的資料是按照一定的主題域進行組織。主題是指使用者使用資料倉儲進行決策時所關心的重點方面,乙個主題通常與多個操作型資訊系統相關。

2、資料倉儲是整合的,資料倉儲的資料有來自於分散的操作型資料,將所需資料從原來的資料中抽取出資料倉儲的核心工具來,進行加工與整合,統一與綜合之後才能進入資料倉儲;

資料倉儲中的資料是在對原有分散的資料庫資料抽取、清理的基礎上經過系統加工、彙總和整理得到的,必須消除源資料中的不一致性,以保證資料倉儲內的資訊是關於整個企業的一致的全域性資訊。

資料倉儲的資料主要供企業決策分析之用,所涉及的資料操作主要是資料查詢,一旦某個資料進入資料倉儲以後,一般情況下將被長期保留,也就是資料倉儲中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的載入、重新整理。

資料倉儲中的資料通常包含歷史資訊,系統記錄了企業從過去某一時點(如開始應用資料倉儲的時點)到當前的各個階段的資訊,通過這些資訊,可以對企業的發展歷程和未來趨勢做出定量分析和**。

3、資料倉儲是不可更新的,資料倉儲主要是為決策分析提供資料,所涉及的操作主要是資料的查詢;

4、資料倉儲是隨時間而變化的,傳統的關係資料庫系統比較適合處理格式化的資料,能夠較好的滿足商業商務處理的需求。穩定的資料以唯讀格式儲存,且不隨時間改變。

5、彙總的。操作性資料對映成決策可用的格式。

6、大容量。時間序列資料集合通常都非常大。

7、非規範化的。dw資料可以是而且經常是冗餘的。

8、元資料。將描述資料的資料儲存起來。

9、資料來源。資料來自內部的和外部的非整合作業系統。

資料倉儲,是在資料庫已經大量存在的情況下,為了進一步挖掘資料資源、為了決策需要而產生的,它並不是所謂的「大型資料庫」。資料倉儲的方案建設的目的,是為前端查詢和分析作為基礎,由於有較大的冗餘,所以需要的儲存也較大。為了更好地為前端應用服務,資料倉儲往往有如下幾點特點:

1.效率足夠高。資料倉儲的分析資料一般分為日、周、月、季、年等,可以看出,日為週期的資料要求的效率最高,要求24小時甚至12小時內,客戶能看到昨天的資料分析。由於有的企業每日的資料量很大,設計不好的資料倉儲經常會出問題,延遲1-3日才能給出資料,顯然不行的。

2.資料質量。資料倉儲所提供的各種資訊,肯定要準確的資料,但由於資料倉儲流程通常分為多個步驟,包括資料清洗,裝載,查詢,展現等等,複雜的架構會更多層次,那麼由於資料來源有髒資料或者**不嚴謹,都可以導致資料失真,客戶看到錯誤的資訊就可能導致分析出錯誤的決策,造成損失,而不是效益。

3.擴充套件性。之所以有的大型資料倉儲系統架構設計複雜,是因為考慮到了未來3-5年的擴充套件性,這樣的話,未來不用太快花錢去重建資料倉儲系統,就能很穩定執行。主要體現在資料建模的合理性,資料倉儲方案中多出一些中間層,使海量資料流有足夠的緩衝,不至於資料量大很多,就執行不起來了。

從上面的介紹中可以看出,資料倉儲技術可以將企業多年積累的資料喚醒,不僅為企業管理好這些海量資料,而且挖掘資料潛在的價值,從而成為通訊企業運營維護系統的亮點之一。正因為如此,廣義的說,基於資料倉儲的決策支援系統由三個部件組成:資料倉儲技術,聯機分析處理技術和資料探勘技術,其中資料倉儲技術是系統的核心,在這個系列後面的文章裡,將圍繞資料倉儲技術,介紹現代資料倉儲的主要技術和資料處理的主要步驟,討論在通訊運營維護系統中如何使用這些技術為運營維護帶來幫助。

4.面向主題

操作型資料庫的資料組織面向事務處理任務,各個業務系統之間各自分離,而資料倉儲中的資料是按照一定的主題域進行組織的。主題是與傳統資料庫的面向應用相對應的,是乙個抽象概念,是在較高層次上將企業資訊系統中的資料綜合、歸類並進行分析利用的抽象。每乙個主題對應乙個巨集觀的分析領域。資料倉儲排除對於決策無用的資料,提供特定主題的簡明檢視。

什麼是資料倉儲

我們都知道,利用多種不同的企業資料庫提取資料進行業務決策是一件複雜的工作。而資料倉儲的主要優點就是可以將這些不同的資料整合在乙個 儲存環境中,並提供給使用者必須的olap online analytical processing,聯機分析處理 工具來檢索與業務有關的資料。當你聽到資料倉儲 data ...

什麼是資料倉儲

color blue 問 資料倉儲有什麼特別的地方?答 沒什麼特別,跟普通關聯式資料庫沒什麼兩樣.問 啊,那有什麼特別?答 資料倉儲本身物理上也是關聯式資料庫,只是資料倉儲系統是乙個體系,乙個過程.資料倉儲技術要解決的問題是如何建立,管理,維護執行乙個資料倉儲.問 資料倉儲跟普通資料庫儲存的資料不一...

什麼是資料倉儲

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!資料倉儲系統體系結構 資料來源 是資料倉儲系統的基礎,是整個系統的資料源泉。通常包括企業內部資訊和外部資訊。內部資訊包括存放於rdbms中的各種業務處理資料和各類文件資料。外部資訊包括各類法律法規 市場資訊和競爭對手的資訊等等 資料的儲存與管理 是...