ORACLE 分析系統OLAP設計思想

oracle 的原來設計是基於事務型的,對處理分析型的就不地道了.最近的發展oracle相關技術開發都逐步適應olap的需求.

1 分割槽技術 2 壓縮技術 3索引組織表 4 大塊 5並行技術 6記憶體結果集.

原來的oracle設計基礎是短小精悍的大規模併發事務. 而甲骨文憑藉這一點占領了大部分資料庫市場份額.微軟的sqlserver以它的綜合型,友好型和簡單易用型占領了中小企業市場.

要設計個oracle 10g分析系統,不能選擇預設安裝法.連機器的儲存也不能按oltp的思維.

基於目前的rac技術它是為了oltp的高可用型而設計的.不適合分析系統的駐留的機器系統. oracle 還沒有ibm的分庫資料庫,可以水平無限擴充套件.

選擇一台分析系統的伺服器,基本上是raid0+raid5+ssd 大記憶體+多cpu的單台機器.

選擇ssd固態硬碟主要是用於分析即時型很強的報表需求. 而raid0主要儲存1個月的資料,這個基本上是很頻繁訪問的資料包表需求. raid5或者raid10等主要儲存歷史資料了.

大記憶體主要用於做group by 運算, 多cpu使用者並行查詢.

分析系統的分層設計. 分層設計主要是把資料逐步的融縮精華.提供比較多的靈活型.

1 資料同步層, 設定個使用者和模式 data_synch 主要從各個資料來源中獲取資料到該使用者模式下.表空間 data_day,data_mon,data_his 三個時間段的空間.

2 資料拆分和彙總. 設定個使用者和模式 data_split_sum 主要從源資料提取出部分欄位的表,和從中提取時間等粒度的表,或者提取出部分使用者的表.

比如活躍使用者表

3 報表結果層: data_result 這一層主要存放最終想要的資料.

這三層可以在同一臺資料庫中,也可以安放在不同的機器上

表空間設計: 分為資料和索引表空間同時在分為 ssd,raid0 raid5空間:ssd_index,ssd_data,raid0_index,raid0_data,raid5_index,raid5_data

注意把重要的表,重要的運算涉及到表,以及即時性要求高的表,領導每天要的表放在ssd表空間中.

資料同步重要的放進ssd表空間中,其他的不重要的放進raid0表空間裡去. 超過乙個月上的資料存進歷史表空間.

所有的表要考慮做成索引組織表,因為組織表是有序存放的. ssd還是存放的是日和周級別的重要表,可以採用原來的堆組織表.

raid0表空間存放當月的資料,因此可以採用非壓縮式索引組織表,塊空間free為0-10 主要看該錶的資料更新週期,也就是說穩定時間.比如說該錶的資料從外面拖過來後,下一天再拖資料過來要修改前天資料的值.這就是穩定週期.如果硬碟空間有多餘的話可以再設個raid0_day表空間,把那些需要一定時間才穩定下來的表存放此處.等它穩定後才同步到月表空間裡去.這樣塊的free可以設定為0.

raid5空間的表設計要分割槽,雙分割槽,壓縮,索引組織表,塊free為0.畢竟這個空間主要存放超過乙個月上的歷史資料.

最後所有的表的塊應該設計為64kb-128kb

開發中使用並行技術 /*+paraller(4)*/

記憶體表:with _as 共用一張記憶體資料

拆分資料庫中的表除了提取某些欄位外, 還經常需要新增使用者,活躍使用者,充值使用者,購買使用者等有可能結果層統計資料時候要關聯很多表造成速度緩慢.

這可以把這幾張表做成聚族表.或者是把表做出列.

比如使用者名稱, 註冊時間,第一次充值時間,第一次購買時間,第一次等.

總體來說 1資料量小化,2資料塊讀取少量化. 包含讀取的次數和塊的多少.

ORACLE 分析系統OLAP設計思想

ORACLE分析系統OLAP設計思想

聯機分析處理（OLAP）

OLAP（聯機分析處理）

ORACLE 分析系統OLAP設計思想

ORACLE分析系統OLAP設計思想

聯機分析處理（OLAP）

OLAP（聯機分析處理）

相關推薦