速度 可用
資料增長
資料的多樣化
軟硬體技術進步，**降價
dw->dw2.0
變化 總體-dw架構
來自：
來自：dw 2.0 – the architecture for the next generation of data warehouse
挑戰 反向於集中式？
雲是否合適大資料？
結構化資料->半結構化、非結構化資料
批處理->實時
批處理、實時可不可以用一套框架處理？
mpp->nosql
rdbms->專有資料庫
hadoop
缺點 spark
缺點 大資料框架的發展方向
規範 穩定、易用
大一統vs專業化
資料庫的發展方向
資料庫配合使用
混合使用多種儲存介質
壓縮 分割槽
load
bitmap索引
無主外來鍵
不記日誌（弱日誌）
預統計（inforbright knowledge grid）
部分資訊統計後放入系統表，查詢直接走系統表
還有哪些技術可以引入？
etl工具
優點 缺點
演進同資料庫路線類似
etl-資料倉儲
缺點 基於工具或資料倉儲，哪種方式在大資料處理方面佔優勢？
pc->移動
bi工具
優缺點同etl工具
自帶資料集市
專有格式->通用格式
專有伺服器->通用伺服器
我們需要什麼樣的bi？
專有語言->通用語言
我們如何進行資料探勘？
cpu
hdd儲存順序訪問、速度慢；隨機訪問且要求高的用ssd硬碟
hdd儲存順序訪問、速度慢；隨機訪問且要求高的用ssd硬碟；效能要求極高的用記憶體
網路100m->1000m->10g->40g->100g
ETL（資料倉儲技術）
etl，是英文 extract transform load 的縮寫，用來描述將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程。etl一詞較常用在 資料倉儲，但其物件並不限於資料倉儲。etl是構建資料倉儲的重要一環，使用者從 資料來源抽取出所需的資料，經...
資料倉儲 資料倉儲部署
1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有，則把d database zyhip改為對應的路徑，有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...
資料倉儲（十） OLAP技術
olap伺服器通常採用多維模型 inmon認為多維模型應當用在資料集市上，而資料倉儲應採用關係模型 kimball認為可以直接採用多維模型建立維度資料倉儲。二人均認可多維模型，只是應用場景不同 其具體實現可分為 rolap 關係型聯機分析處理 rolap基本資料和聚合資料均存放在rdbms之中。mo...