oracle 的原來設計是基於事務型的,對處理分析型的就不地道了。最近的發展oracle相關技術開發都逐步適應olap的需求。
1 分割槽技術 2 壓縮技術 3索引組織表 4 大塊 5並行技術 6記憶體結果集。
原來的oracle設計基礎是短小精悍的大規模併發事務。 而甲骨文憑藉這一點占領了大部分資料庫市場份額。微軟的sqlserver以它的綜合型,友好型和簡單易用型占領了中小企業市場。
要設計個oracle 10g分析系統,不能選擇預設安裝法。連機器的儲存也不能按oltp的思維。
基於目前的rac技術 它是為了oltp的高可用型而設計的。不適合分析系統的駐留的機器系統。 oracle 還沒有ibm的分庫資料庫,可以水平無限擴充套件。
選擇一台分析系統的伺服器,基本上是raid0+raid5+ssd 大記憶體+多cpu的單台機器。
選擇ssd固態硬碟主要是用於分析即時型很強的報表需求。 而raid0主要儲存1個月的資料,這個基本上是很頻繁訪問的資料包表需求。 raid5或者raid10等主要儲存歷史資料了。
大記憶體主要用於做group by 運算, 多cpu使用者並行查詢。
分析系統的分層設計。 分層設計主要是把資料逐步的融縮精華。提供比較多的靈活型。
1 資料同步層, 設定個使用者和模式 data_synch 主要從各個資料來源中獲取資料到該使用者模式下。表空間 data_day,data_mon,data_his 三個時間段的空間。
2 資料拆分和彙總。 設定個使用者和模式 data_split_sum 主要從源資料提取出部分欄位的表,和從中提取時間等粒度的表,或者提取出部分使用者的表。
比如活躍使用者表
3 報表結果層: data_result 這一層主要存放最終想要的資料。
這三層可以在同一臺資料庫中,也可以安放在不同的機器上
表空間設計: 分為資料和索引表空間 同時在分為 ssd,raid0 raid5空間:ssd_index,ssd_data,raid0_index,raid0_data,raid5_index,raid5_data
注意把重要的表,重要的運算涉及到表,以及即時性要求高的表,領導每天要的表 放在ssd表空間中。
資料同步重要的放進ssd表空間中,其他的不重要的放進raid0表空間裡去。 超過乙個月上的資料存進歷史表空間。
所有的表要考慮做成索引組織表,因為組織表是有序存放的。 ssd還是存放的是日和周級別的重要表,可以採用原來的堆組織表。
raid0表空間存放當月的資料,因此可以採用非壓縮式索引組織表,塊空間free為0-10 主要看該錶的資料更新週期,也就是說穩定時間。比如說該錶的資料從外面拖過來後,下一天再拖資料過來要修改前天資料的值。這就是穩定週期。如果硬碟空間有多餘的話 可以再設個raid0_day表空間,把那些需要一定時間才穩定下來的表存放此處。等它穩定後才同步到月表空間裡去。這樣塊的free可以設定為0.
raid5空間的表設計 要分割槽,雙分割槽,壓縮,索引組織表,塊free為0.畢竟這個空間主要存放超過乙個月上的歷史資料。
最後所有的表的塊應該設計為64kb-128kb
開發中使用並行技術 /*+paraller(4)*/
記憶體表: with _as 共用一張記憶體資料
拆分資料庫中的表除了提取某些欄位外, 還經常需要 新增使用者,活躍使用者,充值使用者,購買使用者等 有可能結果層統計資料時候要關聯很多表造成速度緩慢。
這可以把這幾張表做成聚族表。或者是把表做出列。
比如 使用者名稱, 註冊時間,第一次充值時間,第一次購買時間,第一次等。
總體來說 1資料量小化,2資料塊讀取少量化。 包含讀取的次數和塊的多少。
ORACLE 分析系統OLAP設計思想
oracle 的原來設計是基於事務型的,對處理分析型的就不地道了.最近的發展oracle相關技術開發都逐步適應olap的需求.1 分割槽技術 2 壓縮技術 3索引組織表 4 大塊 5並行技術 6記憶體結果集.原來的oracle設計基礎是短小精悍的大規模併發事務.而甲骨文憑藉這一點占領了大部分資料庫市...
聯機分析處理(OLAP)
聯機分析處理 olap 的概念最早是由關聯式資料庫之父e.f.codd於1993年提出的,他同時提出了關於olap的12條準則。olap的提出引起了很大的反響,olap作為一類產品同聯機事務處理 oltp 明顯區分開來。當今的資料處理大致可以分成兩大類 聯機事務處理oltp on line tran...
OLAP(聯機分析處理)
什麼是聯機分析處理 olap 聯機分析處理 olap 的概念最早是由關聯式資料庫之父e.f.codd於1993年提出的,他同時提出了關於olap的12條準則。olap的提出引起了很大的反響,olap作為一類產品同聯機事務處理 oltp 明顯區分開來。當今的資料處理大致可以分成兩大類 聯機事務處理ol...