資料倉儲的選擇

資料倉儲的選擇

資料倉儲的選擇單從技術方面要從伺服器硬體，資料庫軟體，etl和前端展示軟體，儲存系統，倉庫的架構設計幾方面綜合考慮。根據資料庫的操作型別不同，資料庫一般分為olap和oltp，他們分別的操作特點如下：

olap

：典型的資料倉儲環境具有大量複雜的資料處理和綜合分析，要求系統具有很高的

i/o處理能力，並且儲存系統需要提供足夠的

i/o頻寬與之匹配

oltp

：典型的

oltp

系統則以聯機事務處理為主，每個交易所涉及的資料不多，要求系統具有很高的事務處理能力，能夠在單位時間裡處理盡量多的交易

1. 選擇伺服器硬體

伺服器體系架構一般分為三種：smp體系，numa體系和mpp系統(

從numa架構來看，它可以在乙個物理伺服器內整合許多cpu，使系統具有較高的事務處理能力，由於遠地記憶體訪問時延遠長於本地記憶體訪問，因此需要儘量減少不同cpu模組之間的資料互動。顯然，numa架構更適用於oltp事務處理環境，當用於資料倉儲環境時，由於大量複雜的資料處理必然導致大量的資料互動，將使cpu的利用率大大降低。

相對而言，mpp伺服器架構的並行處理能力更優越，更適合於複雜的資料綜合分析與處理環境。當然，它需要借助於支援mpp技術的關係資料庫系統來遮蔽節點之間負載平衡與排程的複雜性。另外，這種並行處理能力也與節點網際網路絡有很大的關係。顯然，適應於資料倉儲環境的mpp伺服器，其節點網際網路絡的i/o效能應該非常突出，才能充分發揮整個系統的效能。

知道了技術指標，剩下就是不同廠商，不同型號的機器選擇了啊

2. 軟體選擇

a．

資料庫軟體的選擇，要了解當前各種資料庫的特點（包括平台、方案、資料庫、團隊），然後對比選擇最適合自己的產品

一般根據下面幾項來作為參考：

資料管理能力(data management)

系統管理能力(data administration)

擴充能力和適應能力(platform suitability & scalability )

併發查詢管理能力(concurrent query management)

查詢效能(query performance)

可選資料庫

大型資料庫：oracle，sybase，db2，teradata

中小型：mssql，mysql

不同的資料庫特點及適用範圍

oracle和db2在oltp市場占有很大的優勢

teradata和sybase在海量資料高效查詢的olap中占有優勢

mssql和mysql是中小企業最好的選擇，適合小資料量

b．

etl：最好的應該是informatica powercenter和ibm data stage兩種，

c．

前端展現工具現在非常多，有國外的也有國產的產品，從目前市場的占有率及使用情況來分析，主要是bo和cognos兩種產品。我主要用cognos；他的的介面比較美觀，在進行大資料量查詢時也比較快，**也不是特別貴，網上也有破解版（如果你敢用的話，呵呵）

3. 儲存系統

儲存系統的選擇，要注意幾個效能指標（吞吐量，ipos，響應時間），最好選擇穩定耐用的

4. 倉庫的架構設計

資料倉儲的資料量很大，而且增長也非常快，所以系統要方便擴充套件，增加節點

並行資料庫的架構

shared-memory：擴充套件受限，幾乎不用

shared-disk：擴充套件時會增加磁碟的競爭，為了保證資料的一致性，都需要消耗很多額外的資源，所以幾點過多，擴充套件不能實現線性擴充套件

shared-nothing：可以實現線性擴充套件，但資料是分布儲存在各節點

shared-disk結構的典型代表是oracle集群，

shared-nothing結構的典型代表是teradata，ibm db2和mysql的集群也使用了這種結構。

-----end----

資料倉儲的選擇

資料倉儲資料倉儲部署

資料倉儲,什麼是資料倉儲？

資料倉儲和資料倉儲分層

資料倉儲的選擇

資料倉儲 資料倉儲部署

資料倉儲,什麼是資料倉儲？

資料倉儲和資料倉儲分層

相關推薦

資料倉儲資料倉儲部署