什麼是資料倉儲

2021-08-30 00:14:37 字數 2386 閱讀 5996

我們都知道,利用多種不同的企業資料庫提取資料進行業務決策是一件複雜的工作。而資料倉儲的主要優點就是可以將這些不同的資料整合在乙個**儲存環境中,並提供給使用者必須的olap(online analytical processing,聯機分析處理)工具來檢索與業務有關的資料。

當你聽到資料倉儲(data warehousing)這個詞的時候會想到什麼呢?也許是乙個滿是貨架的房間,而貨架上按一定次序放滿了各種資訊等待使用者提取。

如果你是這麼想的,那麼恭喜你已經向資料倉儲邁進了一步。在傳統的倉庫中,貨物通過一定的規則來擺放,以便於管理者快速檢索和確認貨品種類,並最終以最快速度提交給提貨人員。而資料倉儲的模式與之類似。

現在,你也許又會問:那到底資料倉儲和傳統倉庫相比有什麼不同呢?答案是它們非常類似,但在定義上有所不同。在乙個典型的企業中,由於部門的分別,不同的資料總是儲存在不同的資料庫中。比如市場部、銷售部、財務部或者是技術部,每個部門都有自己單獨的一套資料庫,他們之間在物理上是完全分離的,可是在邏輯上也許有著這樣那樣的關聯。

如果有乙個業務問題需要利用其中多個資料庫中的資料才能作出結論,那麼這個工作就變得很麻煩了。它需要有人熟悉每個部門的資料庫結構,並在資料庫管理員的協助下進行相關資料的採集和分析。一般來說,公司的普通員工是無法完成這個工作的。

定義資料倉儲可以將上面所提的各種資料整合在乙個**儲存庫中,為了便於分析,它還會重新整理和排列資料,這意味著新的資料庫比傳統的分散應用資料庫更複雜。一般來說,控制程式會在非忙碌時間將資料批量轉換到**儲存庫,不過這個工作也可以實時進行。

當資料被匯入資料倉儲後,借助一些資料庫連線和操作工具,比如聯機分析處理(olap)工具,管理者或者其他使用者就可以輕鬆的運算元據庫並得到所需的商務資料。

讓我們再想象一下,在傳統的倉庫中,鏟車在貨架間穿梭,不斷的將一箱箱貨物放到相應的貨架上。在這個過程中,鏟車駕駛員清楚的知道貨品該放在什麼地方,並且可以選擇最快的途徑將鏟車駛到相應位置。而在資料倉儲中,olap工具扮演的就是鏟車和駕駛員的雙重角色,它可以讓使用者通過簡單的操作在資料庫中對所需資料進行快速檢索。

異常報告(exception reporting)

隨即分析(ad-hoc analysis)

資金使用與預算報告(actual vs. budget reporting)

資料探勘(data mining,在資料中尋找趨勢或者反常)

為了快速的處理商務查詢,有的olap伺服器會對查詢結果進行預處理,而乙個異常查詢的預處理結果也許比整個資料倉儲的體積還要大好幾倍。

olap 的分類

olap主要分為兩大類:使用多維資料庫的molaps和使用關聯式資料庫的rolaps。molap是一種兩層的客戶伺服器架構,olap資料庫既服務於資料庫層,也服務於應用邏輯層。因此應用邏輯和資料庫訪問都位於同一系統中。

rolap通常使用三層架構,其資料庫層和應用邏輯層是分離的,並且其資料儲存在關係型資料庫中,而不像molap那樣將資料儲存在多維資料庫中。

至於何種架構更適合你,則要根據需要而定了。molaps和rolaps相比,具有更短的處理時間,更快的響應速度,並且對於使用者需求更為靈活。而rolaps在處理的資料總量和支援的客戶數方面強於molaps。

此外,還有一種olap也越來越流行,這就是hybrid online analytical processing (混合聯機分析處理,holap)。從字面上我們可以大致看出,holap是上面兩種分類的融合,它同時利用了多維資料庫和關聯式資料庫。holap的優勢在於它可以在效能需求和儲存量需求間找到乙個平衡點,從而充分利用系統潛能。

資料探勘

一旦確定了資料倉儲,並選擇了適當的工具對資料進行檢索和操作,我們就可以通過特定的方法對資料進行詢問。這個方法就是資料探勘(data mining)。正如我們在前面提到的,查詢資料趨勢、模式以及資料間的關係都屬於資料探勘。資料探勘技術包括:

聯合:查詢連線事件的模式

分組:查詢新的模式

合併:發現和分組以前未出現過的情況

**:發現資料中的模式並據此**未來的資料

很明顯,和在傳統資料庫中進行資料查詢相比,使用資料探勘深入分析資料倉儲並找出有用資訊並不簡單。另外,資料探勘技術還被用於遺傳學研究。

另一種對資料進行分析的方法是使用決策支援系統。決策支援系統一般來說是通過專家系統或者人工智慧來對資料進行分析,之後將結果彙總成便於使用者閱讀理解的格式(如線圖、報表、**等形式),以此幫助管理者做出商務決策。

實現目前有數百家廠商都在銷售資料倉儲、olap、資料探勘以及決策支援系統軟體,其中主要廠商有ibm、oracle、cognos和microsoft等。另外,網際網路上關於資料倉儲及其相關工具的介紹也多如牛毛,你可以搜尋olap或資料倉儲來得到很多有用的知識。

資料倉儲是乙個復合專案,要想實現它需要專業知識。如果在設計和實施資料倉儲專案時沒有得到專門的技術支援,就會造成巨大的資源浪費。本文的目的只是為讀者擴大知識面,以便讀者在今後閱讀更專業的資料倉儲文章時可以較好的理解其內容

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

什麼是資料倉儲

color blue 問 資料倉儲有什麼特別的地方?答 沒什麼特別,跟普通關聯式資料庫沒什麼兩樣.問 啊,那有什麼特別?答 資料倉儲本身物理上也是關聯式資料庫,只是資料倉儲系統是乙個體系,乙個過程.資料倉儲技術要解決的問題是如何建立,管理,維護執行乙個資料倉儲.問 資料倉儲跟普通資料庫儲存的資料不一...

什麼是資料倉儲

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!資料倉儲系統體系結構 資料來源 是資料倉儲系統的基礎,是整個系統的資料源泉。通常包括企業內部資訊和外部資訊。內部資訊包括存放於rdbms中的各種業務處理資料和各類文件資料。外部資訊包括各類法律法規 市場資訊和競爭對手的資訊等等 資料的儲存與管理 是...