資料倉儲初認識

2021-07-13 18:49:49 字數 2089 閱讀 5520

資料庫是面向事務的設計,資料倉儲是面向主題的設計

資料庫主要處理的是事務性操作,講求的是時效,面向操作型;資料倉儲是乙個面向主題的,整合的,相對穩定的,反映歷史變化的資料集合,是對多個異構資料來源的有效整合主要是面向於分析的,發掘資料中的價值

(資料探勘

),用於支援管理決策。

資料倉儲的核心

etl(抽取(

extract

),轉換(

transform

),裝載(

load

))

(1)(2)據庫設計是盡量避免冗餘,一般採用符合正規化的規則來設計,資料倉儲在設計是有意引入冗餘,採用反正規化的方式來設計;

(3)資料庫是為捕獲資料而設計,資料倉儲是為分析資料而設計,它的兩個基本的元素是維表和事實表。維是看問題的角度,比如時間,部門,維表放的就是這些東西的定義,事實表裡放著要查詢的資料,同時有維的id。

以銀行業務為例。資料庫是事務系統的資料平台,客戶在銀行做的每筆交易都會寫入資料庫,被記錄下來,這裡,可以簡單地理解為用資料庫記帳。資料倉儲是分析系統的資料平台,它從事務系統獲取資料,並做彙總、加工,為決策者提供決策的依據。比如,某銀行某分行乙個月發生多少交易,該分行當前存款餘額是多少。如果存款又多,消費交易又多,那麼該地區就有必要設立

atm了。

顯然,銀行的交易量是巨大的,通常以百萬甚至千萬次來計算。事務系統是實時的,這就要求時效性,客戶存一筆錢需要幾十秒是無法忍受的,這就要求資料庫只能儲存很短一段時間的資料。而分析系統是事後的,它要提供關注時間段內所有的有效資料。這些資料是海量的,彙總計算起來也要慢一些,但是,只要能夠提供有效的分析資料就達到目的了。

資料倉儲,是在資料庫已經大量存在的情況下,為了進一步挖掘資料資源、為了決策需要而產生的,它決不是所謂的

「大型資料庫」。

那麼,資料倉儲與傳統資料庫比較,有哪些不同呢

?讓我們先看看

w.h.inmon

關於資料倉儲的定義

:面向主題的、整合的、與時間相關且不可修改的資料集合。

(4)資料倉儲較傳統資料庫的特點 ①

「面向主題的

傳統資料庫主要是為應用程式進行資料處理,未必按照同一主題儲存資料

;資料倉儲側重於資料分析工作,是按照主題儲存的。這一點,類似於傳統農貿市場與超市的區別

—市場裡面,白菜、蘿蔔、香菜會在乙個攤位上,如果它們是乙個小販賣的

;而超市裡,白菜、蘿蔔、香菜則各自一塊。也就是說,市場裡的菜(資料

)是按照小販

(應用程式)歸堆

(儲存)的,超市裡面則是按照菜的型別

(同主題

)歸堆的。②「

與時間相關

」資料庫儲存資訊的時候,並不強調一定有時間資訊。資料倉儲則不同,出於決策的需要,資料倉儲中的資料都要標明時間屬性。決策中,時間屬性很重要。同樣都是累計購買過九車產品的顧客,一位是最近三個月購買九車,一位是最近一年從未買過,這對於決策者意義是不同的。③「

不可修改

」資料倉儲中的資料並不是最新的,而是**於其它資料來源。資料倉儲反映的是歷史資訊,並不是很多資料庫處理的那種日常事務資料(

有的資料庫例如電信計費資料庫甚至處理實時資訊

)。因此,資料倉儲中的資料是極少或根本不修改的

;當然,向資料倉儲新增資料是允許的。

資料倉儲的出現,並不是要取代資料庫。目前,大部分資料倉儲還是用關聯式資料庫管理系統來管理的。可以說,資料庫、資料倉儲相輔相成、各有千秋。

資料倉儲可以作為資料探勘和olap

等分析工具的資料**,由於存放於資料倉儲中的資料,必需經過篩選與轉換,因此可以避免分析工具使用錯誤的資料,而得到不正確的分析結果。

資料倉儲是指從各種資料來源通過

etl(

抽取、轉換、載入

)得到規整的資料,往往是緯度表和事實表的方式;資料探勘是指在資料倉儲的既有資料上通過聚類,回歸,

神經網路

等技術發現知識,得出結論支援決策。

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化,將乙個複雜的問題分...