金融機構建設資料倉儲並非一朝一夕之事,需要投入巨大的人力物力,是整個公司戰略級的專案,本文只是結合自己的行業知識,整理下大概的建設思路。
從上面概念中,大概可以知道資料倉儲是用於上層分析性報告和決策支援的基石,也就是現在流行的資料中颱中重要的組成部分。所以搭建好資料倉儲,是整個資料中臺建設的重中之重。
資料倉儲一般分為4個層,依次是資料緩衝層-->資料整合層-->資料基礎層-->資料服務層,加上底層應用系統的資料來源層,和上層分析應用的資料集市層,整個分布圖大概如下:
下面主要說明下,每個層的作用,以及層與層之前的轉換邊界問題。
資料來源:主要是企業早期建立的各個獨立的業務系統或者資料中心,簡單的說就是各個資料庫db例項。
資料整合層:也稱模型層,這層是整個資料倉儲最重要的,它的作用是對公司的全域資料進行系統建模,相關人員必須對整個行業的業務十分熟悉,比如**行業,需要對**主資訊標準化,**市場資訊標準化,資料字典標準化,數值(單位)標準化,記錄(資料**)標準化等等。資料緩衝層到資料整合層,會涉及到資料的簡單清洗和轉換,但不會涉及到計算過程。關於行業標準,這裡引用下《中國資本市場標準網》
資料基礎層:也稱基礎指標層,從資料整合層到資料基礎層,會涉及指標因子的計算,比如持倉市值=持倉數量***價,不過基本都是簡單的計算。
資料應用層:也稱指標準備層,從資料基礎層到資料應用層,會涉及指標的深度計算,比如由資料基礎層計算的收益率,延伸計算為7日收益率,成立以來收益率等等。資料基礎層形成的指標,也會直接復用到資料應用層。
資料集市:這層主要是業務場景的應用,根據具體的業務場景,由資料應用層的指標進行拼湊,形成具體的解決方案,供上層應用分析,決策。
本文只是對資料倉儲做個簡單介紹,後續有時間再針對每個點涉及的技術(比如大資料平台的應用)作深入剖析。
如何建設資料倉儲?
資料倉儲作為企業提供決策支援而構建的整合化資料環境,本身並不產生或者消費資料,基本架構包含的是資料流入流出的過程,首先放上一張資料倉儲的架構圖。資料倉儲作為中間整合化資料管理的乙個平台,底層有多種資料 流入資料倉儲之後對上層應用開放。1 分析業務需求,確定資料倉儲主題 資料模型的建立依賴資料倉儲主題...
資料倉儲建設規範
版本編號 v1.0 發布日期 2017 07 19 作 者 發布範圍 產研大資料團隊 目 錄1 資料架構概述 2 1.1 原始資料層 ods 3 1.2 資料倉儲層 dw 3 1.3 資料集市層 dm 4 2 資料庫命名規範 4 3 表命名規範 5 3.1 整體原則 5 3.2 原始資料層表命名規範...
如何建設資料倉儲?
資料倉儲的概念由來已久,相信大家早已不再陌生,其主要目的是為管理決策提供資料支撐和依據。於是數倉工具顯得尤為重要。資料倉儲,顧名思義,就是儲存資料的倉庫。現實中的倉庫會有不同的分割槽和歸類,分割槽下有多個貨架,貨架上堆放著各種各樣的商品。對於資料倉儲來說,分割槽歸類就類似於資料倉儲的基礎架構,資料倉...