現在可能各大it新聞都會提到"資料中心", 看起來是很龐大的傢伙, it巨頭google,ms等耗資巨頭投入到資料中心建設中. 那麼什麼是資料中心? 從字面意思,非it人可能人認為是放資料的計算機中心. 其實這只是表面, 資料中心的建設在不同情況,它的作用是不完全一樣的.
在資料處理中, 分為兩大類。一是事務處理,二是資料查詢和分析。資料處理或者分析,一般是在資料庫中處理,而資料查詢現在分為兩大類,一是資料庫查詢,二是搜尋技術。而目前隨著各種技術的互相作用,搜尋技術和資料分析也越來越有「合作」的意思。
搜尋技術目前還處於「模糊查詢」階段,也就是從數億計網際網路資訊中模糊搜尋出你想要的資訊,但由於是模糊查詢,所以絕大多數資訊都不是你想要的,於是目前幾大巨頭都在把資料探勘技術容入搜尋技術中,縮小客戶搜尋到準確資訊的時間。
但由於搜尋技術其「模糊特點」,在企業內部的資訊化中,暫時還不適合,因為企業查詢的需要是準確的資訊,老闆可沒那麼多時間乙個個排除。於是企業內部建設的資料中心基本是資料倉儲,為準確查詢和分析服務。
那麼何為資料倉儲?前面提到的企業/單位投資資訊化,他們不停上資訊化系統,比如erp、crm、call center、oa或者計費等。但上了這些系統後,會產生大量資料,客戶首先的需求是查詢和報表。但很多報表和查詢是需要跨系統,而且複雜查詢和報表很耗 資源,可能影響各個系統的正常執行。於是80年代人們專門建設乙個資料庫系統,把各個系統的資料拿到那裡進行準確的查詢和報表製作,這樣既方便又準備,而 且不會影響業務系統。那麼從這點說,資料倉儲是全資料的集合。
而後來查詢和報表已不能滿足人們的需求了,他們想知道這些資料裡到底有什麼有用的資訊,會給決策者什麼有用的幫助。於是90年代人們把olap和資料探勘 加入資料倉儲應用之中。為了更好地分析,人們從資料倉儲裡還會按照業務需要提出n多資料集市為查詢、分析服務,這樣會更方便,因為不同部門的需求不同,業 務定義也可能不同,所以再把資料倉儲的資訊分到各個資料集市是很有必要的了,這樣才好個性化服務嘛。
但有一定要申明,資料倉儲和olap、資料探勘以及查詢、報表沒有必然關係,他們是不同的邏輯事物,但相互作用很密切。正如前面提到,資料探勘現在已經結 合搜尋技術,更方便地給人們提供網際網路搜尋服務。而資料探勘在資料倉儲的作用,就是更好地分析,比如著名的沃爾瑪尿布和啤酒的案例就是資料探勘的結果,它 把資料中很多潛罪責找出一定聯絡的機率,這樣幫助企業決策。
那麼資料中心是何物?如果是針對具體的企業或者單位,其實就是業務系統資料儲存技術+資料倉儲,當然有的單位乾脆只有資料倉儲,比如科研單位,他們又不作 業務處理,只有分析需求。但如果是網際網路公司,就和普通企業和單位的資料中心不同,因為網際網路的資訊實在龐大,不可能包羅所有資訊到資料庫,也處理不了那 麼多資訊,所以他們的資料中心的其中作用就是加強網際網路資料的處理速度和效果;另乙個作用也是資料倉儲,但他們的資料倉儲就不會包含所有網際網路資訊,而是 企業本身關心的資訊,當然資料量也非常大,一般十tb以上。
目前我國資訊化其實還在初級階段,可能很多人認為有了pc,可以上網,有很多軟體用,資訊化就好了?其實不然。資訊化的高階階段應該是準確快速處理、查 詢、分析資料!就我所知,美國幾乎所有國家級**部門、科研機構都上了資料倉儲系統,不信可以搜尋下他們各個部門的資訊化新聞。而我們國家很多部門的普通 業務系統還不夠完善,更不要說建設資料倉儲了。
其實最有意義的乙個專案,應該是農業部資料倉儲建設。資料中心/資料倉儲建設後,全國各鄉鎮級以上都可以作為其使用者,查詢具體資訊和分析資訊。好處就不說 了,還會出現農民種的東西買不出去,買不起**麼?不會!因為各個地方適合種什麼,當年什麼物種賣錢,市場需求等都在眼裡。當然資訊化並不是萬能的,還要 有配套措施,比如農業技術指導、專門的採購、物流、銷售公司等配套等。
資料中心架構 資料倉儲
資料倉儲 data warehouse 是乙個面向主題的 subject oriented 整合的 integrated 相對穩定的 non volatile 反映歷史變化 time variant 的資料集合,用於支援管理決策 decision support 資料中心架構 dw data war...
資料倉儲自動化,視覺化建設
概述 在資料倉儲建設中,特別是在多個開發人員的過程中,經常會遇到以下問題 是不是可以建乙個資料倉儲平台,把開發流程 規範 標準進行統一管理,基於元資料驅動的自動化 視覺化的平台。平台架構 主要包括系統管理 業務匯流排管理 維度模型管理 作業管理 應用管理 元資料管理 資料標準管理等模組。系統管理 這...
大型集團企業資料化 資訊化建設步驟
特點 集團型企業特點,首先,相關多元化或非相關多元化產業經營 其次,管理層級複雜,常常是按照區域 職能 客戶 產品等多種維度構建的矩陣式管理結構 最後,公司治理結構複雜,集團總部對下屬企業的控制方式有參股 控股 子公司 分公司等多種形式 這些特點決定了企業管理和資訊化建設的複雜性。資訊化管控的上下衝...