資料庫與MPP數倉 十二 資料倉儲的價值

2021-10-09 00:21:15 字數 722 閱讀 3695

構思乙個主題討論資料倉儲的構建方**,包括資料倉儲的價值、選型、構建思路,隨著資料規模膨脹和業務複雜度的提公升,大型企業需要構建企業級的資料倉儲(資料湖)來快速支撐業務的資料化需求,與傳統的資料庫構建不通,資料倉儲即是olap場景,偏於歷史資料的儲存/分析,用冗餘儲存換取資料價值;

一、資料倉儲和資料庫的區別

所有的應用系統都會涉及到資料庫,針對資料庫歸納和存放,也就是資料庫的常見操作:增、刪、改、查,那麼為什麼想要對企業資料進行分析,不能直接查詢資料庫,非要大費力氣的去建立所謂的資料倉儲和資料湖呢?

資料倉儲主要是為了能夠支援管理決策,而資料庫是為了滿足系統的及時性、一致性,好比你去銀行存錢,你希望剛把錢存進去就能夠查詢到餘額增加,你不希望第二天才能夠確認,但是若是銀行想對你的流水和餘額進行分析,這個時候希望知道你在不同時期的銀行餘額,那麼從資料庫裡是查不到你的歷史餘額資訊的,因為資料庫在設計的時候就需要滿足一定的正規化,為的就是滿足及時性和去冗餘,乙個客戶對應的餘額只有乙個,你在存款的時候,新的餘額就會覆蓋掉老的餘額,所以你的歷史資訊在資料庫中是沒有記錄的。

如果銀行希望查詢客戶的歷史資訊,比如說你需要查詢個人客戶資訊,他可能在櫃檯交易系統中有記錄,也可以在網上銀行交易系統也有記錄,而你希望查詢客戶櫃檯交易資訊以及網銀交易資訊,這個時候需要跨系統查詢,有可能兩個系統所使用的資料庫都不一樣,各自許可權負責人員也不一樣,跨系統查詢顯得非常困難,這個時候需要乙個系統能夠將所有業

資料倉儲與數倉建模

資料倉儲,英文名為data warehouse,簡寫為dw或dwh。資料倉儲,是乙個面向主題的 整合的 隨時間變化的 但資訊本身相對穩定的資料集合,用於對管理決策過程的支援1。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及...

資料倉儲與資料庫比較,Hive資料倉儲與資料庫比較

hive是乙個翻譯工具,將sql翻譯為底層mr程式的,它不是資料庫,只不過在表現形式上和資料庫有很多類似而已 比如表 database 欄位等 資料庫可以增刪查改,資料倉儲只可以增刪查 資料倉儲支援很大規模的資料 資料庫支援的資料規模較小 資料倉儲沒有索引,資料庫有 資料倉儲可擴充套件性強,資料庫弱...

資料倉儲 數倉分層 01

資料倉儲,資料倉儲是面向主題的 subject oriented 整合的 integrated 非易失的 non volatile 和時變的 time variant 資料集合,用以支援管理決策。每個資料倉儲面向分析的主題都是一樣的 資料倉儲需要分析某乙個主題的資料結果,需要整合各個其他方面的資料 ...