超大型oracle資料庫應用系統的設計
一、概論
超大型系統的特點為:
1.處理的使用者數一般都超過百萬,有的還超過千萬,資料庫的資料量一般超過1tb;
2.系統必須提供實時響應功能,系統需不停機執行,要求系統有很高的可用性及可擴充套件性。
為了能達到以上要求,除了需要效能優越的計算機和海量儲存裝置外,還需要先進的資料庫結構設計和優化的應用系統。
一般的超大型系統採用雙機或多機集群系統。下面以資料庫採用oracle 8.0.6並行伺服器為例來談談超大型資料庫設計方法:
·確定系統的oracle並行伺服器應用劃分策略
·資料庫物理結構的設計
·系統硬碟的劃分及分配
·備份及恢復策略的考慮
二、oracle並行伺服器應用劃分策略
oracle 並行伺服器允許不同節點上的多個instance例項同時訪問乙個資料庫,以提高系統的可用性、可擴充套件性及效能。oracle並行伺服器中的每個 instance例項都可將共享資料庫中的表或索引的資料塊讀入本地的緩衝區中,這就意味著乙個資料塊可存在於多個instance例項的sga區中。那麼保持這些緩衝區的資料的一致性就很重要。oracle 使用 pcm( parallel cache management) 鎖維護緩衝區的一致性,oracle同時通過i dlm( 整合的分布式鎖管理器)實現pcm 鎖,並通過專門的lck程序實現instance例項間的資料一致。
考慮這種情況:instance1對block x塊修改,這時instance2對block x塊也需要修改。oracle並行伺服器利用pcm鎖機制,使block x從instance 1的sga區寫入資料庫資料檔案中,又從資料檔案中把block x塊讀入instance2的sga區中。發生這種情況即為乙個ping。ping使原來1個memory io可以完成的工作,變成2個disk io和1個 memory io才能夠完成,如果系統中有過多的ping,將大大降低系統的效能。
oracle並行伺服器中的每個pcm鎖可管理多個資料塊。pcm鎖管理的資料塊的個數與分配給乙個資料檔案的pcm鎖的個數及該資料檔案的大小有關。當instance 1和instance 2要操作不同的block,如果這些block 是由同乙個pcm 鎖管理的,仍然會發生ping。這些ping稱為false ping。當多個instance訪問相同的block而產生的ping是true ping。
合理的應用劃分使不同的應用訪問不同的資料,可避免或減少true ping;通過給false ping較多的資料檔案分配更多的pcm鎖可減少 false ping的次數,增加pcm鎖不能減少true ping。
所以, oracle並行伺服器設計的目的是使系統交易處理合理的分布在instance例項間,以最小化ping,同時合理的分配pcm鎖,減少false ping。設計的關鍵是找出可能產生的衝突,從而決定應用劃分的策略。應用劃分有如下四種方法:
1.根據功能模組劃分,不同的節點執行不同的應用
2.根據使用者劃分,不同型別的使用者執行在不同的節點上
3.根據資料劃分,不同的節點訪問不同的資料或索引
4.根據時間劃分,不同的應用在不同的時間段執行
應用劃分的兩個重要原則是使ping最小化及使各節點的負載大致均衡。
三、資料庫物理結構的設計
資料庫物理結構設計包括確定表及索引的物理儲存引數,確定及分配資料庫表空間,確定初始的回滾段,臨時表空間,redo log files等,並確定主要的初始化引數。物理設計的目的是提高系統的效能。整個物理設計的引數可以根據實際運**況作調整。
● 表及索引資料量估算及物理儲存引數的設定
表及索引的儲存容量估算是根據其記錄長度及估算的最大記錄數確定的。在容量計算中考慮了資料塊的頭開銷及記錄和字段的頭開銷等等。表及索引的initial和next儲存引數一般設為相等,pctincrease設為0。
● 表空間的設計
oracle資料庫的表和索引是透過表空間tablespace儲存在資料庫中的。在tablespace設計時一般作以下考慮:
1、一般較大的表或索引單獨分配乙個tablespace。
2、read only物件或read mostly物件分成一組,存在對應的tablespace中。
3、若tablespace中的物件皆是read only物件,可將tablespace設定成read only模式,在備份時,read only tablespace只需備份一次。
4、高頻率insert的物件分成一組,存在對應的tablespace中。
5、增、刪、改的物件分成一組,存在對應的tablespace中。
6、表和索引分別存於不同的tablespace。
7、存於同乙個 tablespace中的表(或索引)的extent 大小最好成倍數關係,有利於空間的重利用和減少碎片。
● db block size
超大型資料庫db block size一般在4kb 至 64kb,而最常用的是8kb、 16kb或32kb。選用較大的db block size可使index的高度降低,也會提高io效率。
● redo log files
oracle 使用專用的程序redo log writer (lgwr)將日誌寫入日誌檔案。一般日誌檔案最好建在專用的映象盤上。日誌檔案組的個數及檔案的大小的設定與系統交易量的大小有關。oracle並行伺服器中每個instance使用各自的一組rego log files。一般的每組日誌檔案的個數為3-7個,每個的大小為200mb-500mb。
● 資料檔案大小
建議用標準的檔案大小,如200m、1gb、2gb、4gb、8gb等,可簡化空間的維護工作。
● 回滾段
回滾段一般建在專用的表空間中。每乙個instance例項擁有各自的回滾段。設定回滾段的一般原則是: initial 及 next 儲存引數的值是相等的,同時還是db block size的倍數。每個回滾段的minextents設為20,optimal引數的值保證回滾段縮小時不低於20個extents。
● 臨時表空間
臨時表空間一般建在專用的表空間中。每乙個instance例項擁有各自的臨時表空間。這樣使用臨時表空間時不會有ping。設定臨時表空間的initial=next。
四、系統硬碟的劃分及分配
在多機集群環境下,oracle並行伺服器通過作業系統提供的drd服務來共享同乙個資料庫。每乙個instance對資料庫的資料檔案的訪問都是通過該資料檔案所在的drd服務進行的。
考慮以下情況:主機1上有drd服務1,該服務對應的資料檔案有1、2、13、35、67等,這時如果主機2上的instance2需要讀取資料檔案 13,通過drd服務排程,主機1通過drd服務訪問磁碟陣列上的資料檔案13,把instance2需要的資料讀到記憶體,然後通過memory io把資料傳到主機2的instance2。寫操作是讀操作的逆過程。
通過以上分析可知,系統硬碟的劃分及分配的原則是儘量減少memory io。
五、備份及恢復策略的考慮
資料庫的備份與恢復在系統設計中佔很重要的地位。好的備份及恢復策略可以降低系統的執行風險,減少因硬體故障而造成的損失。
oracle備份方法:
1.物理備份
將資料庫的物理檔案通過作業系統的命令或工具備份到備份介質上。物理備份往往用於儲存介質故障時恢復資料庫系統的資料。
根據資料庫執行方式的不同,可進行不同的物理備份:
a)物理冷備份(offline backup)
物理冷備份要求資料庫在關閉(所有instances停止)的情況下進行。這種備份必須是完全備份,即需備份所有的資料檔案、控制檔案(control file)、日誌檔案(redo log file)、初始引數檔案等等。
物理冷備份的步驟簡單,但要求系統能夠停止。
b)物理熱備份(online backup)
物理熱備份是在資料庫系統正常執行的情況下進行的資料庫備份。這種備份可以是資料庫的部分備份,既備份資料庫的某個表空間(tablespace)或某個資料檔案(datafile),也可備份控制檔案(control file)。
物理熱備份要求資料庫在archivelog模式下執行。這種備份一般用於應用系統不能停機的情況。
c)歸檔日誌檔案備份(archived log file backup)
要使資料庫系統能夠恢復到故障點前一時刻狀態,或恢復到某指定時刻狀態,資料庫必須採用archivelog模式。在archivelog模式下,資料庫系統會產生歸檔日誌檔案(archive log files)。歸檔日誌檔案也需備份到備份介質上。在恢復時,這些檔案可使資料庫恢復到最近狀態。
歸檔日誌檔案產生在指定目錄下,這些檔案一生成就可以備份到備份介質上,dba可根據磁碟空間情況,定時將它們備份出去。
2.邏輯備份
邏輯備份是通過oracle提供的export工具,將資料庫的結構定義及其資料卸出到特定格式的檔案中,並備份該檔案。
在實際應用中,邏輯備份與物理備份並用。一般來說,物理備份用於磁碟介質損壞或資料檔案損壞;邏輯備份用於資料庫中的某些物件被破壞或使用者誤操作。
備份策略的考慮主要在以下三個方面:
● 儲存空間
● 對現行執行的系統的效能影響
● 恢復時間的影響
如果需要節省空間和恢復時間就需要增加備份的頻率,但是備份操作會明顯增加現行執行的系統的負載。、
oracle的恢復方法
根據不同的備份方法採用不同的恢復方法。
使用物理備份恢復
oracle提供了三種恢復手段:
1、資料庫級的恢復
2、表空間(tablespace)的恢復
3、資料檔案的恢復
資料庫級的恢復要求資料庫在關閉但mount的狀態下進行。表空間及資料檔案的恢復可在資料庫執行的狀態下進行。
使用邏輯備份恢復
當資料庫中的某一物件被損壞,或使用者的誤操作使資料破壞(如誤刪表) 時可用邏輯備份恢復。用邏輯備份只能恢復到備份時刻的狀態。
大型企業ORACLE資料庫RAC應用方案
資料庫系統是企業 it 系統的核心部分,不僅需要資料庫伺服器具有極強的處理能力,也要求資料庫伺服器系統具有很高的可靠性,以保證應用系統能夠隨時訪問到資料庫中的資料。一 應用背景介紹 眾所周知,在大型企業中都有一套自己的資訊管理平台,企業各種重要的資料就儲存在該資訊平台後的資料庫中,所以資料庫系統是企...
Oracle資料庫應用
01.表空間 我們知道oarcle資料庫真正存放資料的是資料檔案 data files oarcle表空間 tablespaces 實際上是乙個邏輯的概念,他在物理上是並不存在的,那麼把一組data files 捻在一起就成為乙個表空間。使用該create tablespace語句建立乙個表空間,該...
大型資料庫設計
隨著計算機技術越來越廣泛地應用於國民經濟的各個領域,在計算機硬體不斷微型化的同時,應用系統向著複雜化 大型化的方向發展。資料庫是整個系統的核心,它的設計直接關係系統執行的效率和系統的穩定性。因此在軟體系統開發中,資料庫設計應遵循必要的資料庫正規化理論,以減少冗餘 保證資料的完整性與正確性。只有在合適...