資料整合在ODS專案的應用模式

2021-09-20 17:08:20 字數 1009 閱讀 6810

ods(the operational data store),也叫運營資料儲存,是用於支援企業日常的全域性應用的資料集合,它是介於db和dw 之間的一種資料儲存技術。從專家給出的定義上來講,它是乙個面向主題的、整合的、當前的並且是可"揮發"的資料集合,它反映了在某乙個時間切片瞬間,經營 分析系統和外圍系統用以相互交換資料的集合,主要用於經營分析系統與外圍系統關鍵資料一致性校驗、以及經營分析系統對其它外圍系統的決策支援資料的回饋, 回饋資料報括以客戶擴充套件屬性為主體的詳細資料等。從ods的作用和實現來說,ods將各個孤立的業務系統的運營資料整合起來,現成全企業的統一資料檢視, 同時可實現ods的資料共享。

資料整合是什麼呢?它是指異構資料之間的同步。所謂異構資料是指不同種類,不同版本的資料庫、檔案、mail等之間的同步。異構資料的同步前提是要能夠準 確獲取資料源的元資料結構以及異構資料之間的對映方式:包括語法和語義上的對映。資料整合可以認為是etl(bi上的定義為:抽取-轉換-清洗-過濾-加 載);但更強調自動化過程管理。

在實現機制上,應包括常見的整合模式:split/merge/route/ps等;另外還應該具備建模(元資料管理)和治理(governace)功能。

資料整合有什麼意義呢?主要是實現資料中心,例如企業級sid;或者遺留系統在資料層面的整合。在建立全域性sid的基礎上,可以構建很多有意義的東西:例 如portal/cms,報表,資料搜尋,挖掘等等,這些可以概括地稱為bi,即商業智慧型。因此,資料整合有兩個層面的意義:1)操作層面 2)分析層面。

目前,資料整合的產品有oracle/bea的aqulogic dsp,vitria的bw,還有就是開源的emule/servicemix/spring integration等。不過據我所知,開源的東西還沒有支援rdbms adapter的,而且還有某些重要功能的缺失例如監控、建模等。

一般來講,資料整合的實現方式可以分為一下四個步驟:

1.界定資料互動的項別與內容,如:pdm系統和erp系統之間的bom資料;

2.指定資料互動週期,一天一次,還是一周一次;

3.選擇互動方式,通過資料庫,還是中介軟體技術來互動;

資料整合在ODS專案的應用模式

ods the operational data store 也叫運營資料儲存,是用於支援企業日常的全域性應用的資料集合,它是介於db和dw 之間的一種資料儲存技術。從專家給出的定義上來講,它是乙個面向主題的 整合的 當前的並且是可 揮發 的資料集合,它反映了在某乙個時間切片瞬間,經營分析系統和外圍...

資料整合在ODS專案的應用模式

ods the operational data store 也叫運營資料儲存,是用於支援企業日常的全域性應用的資料集合,它是介於db和dw 之間的一種資料儲存技術。從專家給出的定義上來講,它是乙個面向主題的 整合的 當前的並且是可 揮發 的資料集合,它反映了在某乙個時間切片瞬間,經營分析系統和外圍...

工廠模式在專案優化中的簡單應用

最近在專案中優化中用到了設計模式中用到工廠設計模式,在此說說自己的看法,看以前師兄寫的 真的不堪入目啊,沒一點結構化分模組的意思。整個 都是從頭寫到尾,而且 命名也不規範,從沒考慮到優化 的問題,不是科班出身俺的還是有很多要學習的地方。專案是關於高精度檢測方面的。我主要是把演算法分成相關模組進行優化...