精選30+雲產品，助力企業輕鬆上雲！>>>
主要內容：
數倉基本概念
數倉架構演變
實時數倉和脫機數倉的區別
數倉基本概念
首先說一下資料倉儲的概念，以下簡稱數倉。
數倉的發展
數倉有兩個環節：乙個是數倉的建設、另乙個數倉的應用。
早期的數倉
傳統數倉
目前
數倉的架構演變
脫機數倉和實時數倉
接下來我會分別介紹脫機數倉和實時數倉的架構：
脫機數倉
脫機數倉，
一般地，（業務、日誌）資料儲存在 hdfs 上，一般分這幾層：ods/dwd/dws/dm，其中 dm 層的資料會匯出到 olap、rds、kv資料庫中供業務方使用。ad-hoc查詢的資料**一般來自 ods層或dw層，ad-hoc的查詢引擎為 hive/spark/presto。
實時數倉
實時數倉
，也是基於分層的模型 ods/dwd/dws/，業務資料和日誌資料,事實資料儲存在 kafka 中，維度資料儲存在 hbase/tair 中，dm層的資料最終匯出到 mq/olap/rds/kv中。ad-hoc 查詢基於 flink 來做。（都是流動的資料），如上圖所示，就是 。
1.當某個或某些指標有重新處理的需求時，按照新邏輯寫乙個新作業，然後從上游訊息佇列的最開始重新消費，把結果寫到乙個新的下游表中。
參考
脫機數倉與實時數倉案例
資料倉儲是乙個面向主題的 subject oriented 整合的 integrate 相對穩定的 non volatile 反映歷史變化 time variant 的資料集合，用於支援管理決策。資料倉儲是伴隨著企業資訊化發展起來的，在企業資訊化的過程中，隨著資訊化工具的公升級和新工具的應用，資料量...
脫機數倉到實時數倉的架構演變
1.實時數倉的相關概述 1.1 實時數倉產生背景 我們先來回顧一下資料倉儲的概念。資料倉儲的概念是於 90 年代由 bill inmon 提出,當時的背景是傳統的 oltp 資料庫無法很好的支援長週期分析決策場景，所以資料倉儲概念的 4 個核心點，我們要結合著 oltp 資料庫當時的狀態來對比理解。...
實時數倉1
介紹 丟擲問題有脫機數倉了，做實時數倉，是否能兼顧到以前的指標體系，是不是可以直接替代？類似於畫像體系是否可以在此基礎上進行構建？實時數倉是否可以是實時平台的基礎？架構有沒有明確的定義？框架變化 儲存框架 框架優勢 劣勢mysql 事務查詢 儲存的效能瓶頸 elasticsearch 吞吐量大，快速...