資料服務 連線SOA與元資料管理的橋梁

2021-08-23 11:18:14 字數 4113 閱讀 9544

最近的經濟危機使投資收益最大化成為基本的戰略準則。it資產的投資也不例外。面向服務架構(soa)由於其敏捷與重用性,能夠從當前的it資產中快速開發出具有高商業價值的應用,因此在其中扮演著極其重要的角色。

然而,在任何soa應用發揮這些it資產的商業價值之前,企業必須首先能夠了解並自由支配這些資產,而這正是元資料管理的基本原則。

企業必須在管理元資料所消耗的資源及在soa中利用元資料所消耗的資源之間找到乙個平衡點。要達到這一目的,企業就必須解決以下問題:

* 重點應該放在**?

* 企業如何實現最快地獲得最大商業價值?

* 能否找到乙個最佳點,使元資料管理與soa能一致地提高it與業務的收益?

管理元資料——比以往任何時候更為重要

元資料的重要性不必多說。並且,隨著元資料從被動式資訊倉儲發展到成為自動化開發的關鍵內容,其重要性正與日俱增。商業智慧型(bi)和資料倉儲(dw)就 是利用面向資料的元資料的成功應用;業務流程管理(bpm)利用的是面向過程的元資料;it管理利用的是面向it資產的元資料。最近,基於soa的新開發 和遺留資產合併也產生了新的元資料需求。由於元資料的這種**式增長,企業也要花費越來越多的資源了解、分類並管理元資料。

今天的各種元資料管理應用和技術已經發生了相當大的變化。這主要是由三個因素造成的。第乙個因素是上面提到的各種元資料型別。比如,資料倉儲中用於定義數 據提取、轉換和載入(etl)指令碼的元資料,和用於定義、管理複雜訂單-收款業務流程中越區切換的元資料有著很大的不同。各種不同的用途不僅影響著資料的 型別和所管理的屬性,還影響著變更的頻率和變更所造成的影響。

第二個因素是it企業固有的分工制度。不同的團隊分別進行不同種類的工作,比如b2b、後台應用、bi等。另外,不同的團隊也工作在不同的應用套件層上: 比如資料庫、工作流、報表等。結果就是,各個團隊主只了解其工作相關的元資料,而對其他使用者的元資料卻了解甚少。

第三個因素是軟體開發商式的元資料管理。由於最近幾年來元資料重要性的提公升,應用與工具**商也在其核心產品中新增了元資料擴充套件,並且隨之誕生了許多元數 據管理的專業廠家。這些廠家各自以獨特的角度解決元資料管理問題,產生許多截然不同的元資料管理工具,最終造成一系列新的元資料整合問題。

資料服務——管理與利用元資料的最佳點

由於元資料型別繁多,使用者和工具也多種多樣,很容易造成元資料管理上的困難。不過,重要的一點是不能走上歧路。企業要有選擇地進行管理,把重點放在具有最 高收益的it資產上,使用能夠最快實現回報的元資料管理方法。對於soa來說,把重點放在資料資料上通常意味著能夠獲得最佳、最迅速的回報。

為什麼是資料?首先,資料通常是soa開發專案的最大瓶頸。大多數新應用是以當前系統的資料為基礎。這種資料複雜、多樣化並且涉及整個企業。比如,乙個新 的soa客戶服務應用可能包括來自打包應用(比如sap)的賬務資料、資料倉儲的歷史交易資料、xml格式和http檔案形式的門戶服務資料等等。各種來 源都有自己的訪問機制、語法、安全等——所有這些都會拖慢開發的進度。

根據許多分析師的經驗,那些與虛擬化、提取、組合和傳輸資料有關的服務(通常稱為資料服務)是soa開發中最耗費精力的一部分。要保證在企業soa中實現這些服務的互通性和重用性,唯一途徑就是良好的元資料管理。

元資料管理就是管理與資料有關的資料。現在,面向模式的建模工具不但簡單易用,還能有效開發的初步構建和後續公升級。另外,20年前的那些簡單的圖表生成工 具也已經發展成為先進的開發環境。現在,強大的聯結器可以解決相當一部分跨系統的語法和轉換問題,這在以前通常需要更細粒度的元資料和建模才能解決。

通過現代的資料服務中介軟體,可以輕鬆地建立能夠生成可用資料服務的資料模式,並被開發人員應用到soa應用的開發專案中。通過從既有的元資料管理和建模工 具中引入這些模式,並通過當前資料來源生成新的模式,開發人員可以迅速地進入工作狀態。他們還可以使用拖拽工具整合各種資源以增加資料的價值。此外,他們可 以把複雜性抽象化,從而為消費者簡化模式。效能通常是乙個讓人擔憂的問題,而更好的資料服務中介軟體則可以優化佇列,並提供一系列快取技術。一旦模式完成, 開發人員可以自動生成sql檢視和符合soa標準的資料服務,這些都可以在多個開發專案中重用。如果將來底層資源發生變化,這種方式的松耦合特性也使得模 型和受影響的資料服務的公升級變得簡單易行。

資料服務層——如何將元資料管理轉化為業務敏捷

由於合併、新產品、新市場、順應性規則等情況的存在,業務必然是持續變化的,這使soa成為一種受偏愛的開發方式。然而,由於既有資料的複雜性和大量的項 目積壓,it部門仍要拼盡全力才能趕上節奏。企業要怎麼做才能讓業務應用趕上業務變化呢?可以通過當前元資料生成資料服務,實現所需的新的應用資料,從而 幫助it實現更快的響應速度。

從架構的角度來看,這裡的關鍵是一種三層的松耦合方式。如圖1所示,資料服務聯合形成可重用的服務中間層,或稱為資料服務層。這一層將業務應用層從底層的 源資料層分開。這樣,開發人員便可以實現所需的靈活性,以最有效的方式處理各層問題,並在應用、模式或底層資料來源發生變化時具有快速處理的敏捷性。

圖1 資料服務層

資料服務層為資料讀取、相關資料整合、資料抽象化,以及以資料到應用的傳送提供了統一的方式。通過應用最佳實踐技術和自動化關鍵資料服務功能,比如虛擬化、抽象和聯合,可以極大地提高開發人員的效率和速度。

資料虛擬是一種很重要的功能。在soa中,資料服務中介軟體把許多不同的資料型別綁到乙個統一的、企業範圍的資料模型(包括模式和內容)中。這種虛擬資料層 是由從元資料中生成的松耦合資料服務構成的。資料服務層是重要的soa組成部分,因為它使當前系統的構建更容易,並且無需考慮地理位置、評估方法、語法等 問題。因此,soa可以從源系統中讀取並使用設計和標準不規範的資料,而排除這種多資料型別的障礙正是實現soa敏捷性的關鍵。

資料抽象是另乙個可以由資料服務中介軟體實現的重要功能。在資料服務層,開發人員可以模擬並生成各種實體「簡單易用」的版本,包括客戶、訂單、發貨、出貨單 和收據等。對於這些重要的實體部分,開發人員還可以額外提供一些必要的、更詳細的功能。比如,在「訂單」類中,可以包含開始下訂單、已完成訂單、有糾紛的 訂單等。由於資料服務層使應用與資料的物理實現分離,開發人員也不會再被資料複雜性所困擾,因此他們可以集中精力做自己份內的工作——考慮應用程式如何使 用資料。這不僅可以實現更優秀的應用,還能提高實現所需應用的速度。

最後,對於應用來說,最困難的工作之一就是把各種型別的資料組合起來以實現全方位的檢視。以乙個客戶服務應用中的資料組合為例,即組合從訂單輸入應用得到 的客戶銷售資料、金融系統的客戶發票資料,以及運輸公司的客戶退貨資料,以得到乙個單獨的檢視。資料服務中介軟體的資料組合功能可以對多個執行中的資料及歷 史資料提供安全訪問,將其組合成更完整、更有意義的資訊,為一系列的應用使用者提供方便。查詢優化和快取技術可以滿足對高效能的需求,而無需硬體合併。

所有資料的元資料——一步乙個腳印

在統一標準的資料服務層例項化整個企業的資料模式是一項需要太多前期投資、太長回報期,從而難以下手的巨大工程嗎?就像soa一樣,元資料管理也不是一項全有或全無的絕對性投資。在決策過程中要考慮的問題主要有:

* 應該從什麼應用開發專案著手?

* 如何最大程度地重用資料服務?

* 如何尋找資金將專案逐漸擴大到整個企業?

雖然各個企業的情況不盡相同,但是研究那些成功的資料服務革新案例可以讓我們學到一些有用的經驗。首先,在這些專案中,資料都是最大的問題。換句話說,如 果能包括複雜的模式、讀取方式等,抽象的服務可能會帶來最大的價值。其次,能夠處理多系統應用資料的soa專案比單系統方案要好,因為通常單系統方案的數 據建模、訪問和傳輸能力過剩,幾乎沒有整合的餘地。第三,只要是可能經歷變更的專案,不管是源層或消費層,都更有必要使用分層結構。最後,對於那些需要即 時獲取資料的應用,資料服務所固有的按需提供資料(dod)的特性相對需要額外資料儲存中介軟體的物理資料合併方式來說具有更大的優勢。

隨著時間的推移、專案的發展、模式的變化和資料服務的更新,資料服務層就會慢慢擴大到企業範圍。一些企業已經證明,單是重視並以新的方式重用現有資料資產、重用資料服務就可以獲得足夠多的資料服務中介軟體的投資資金。

使元資料投資的收益最大化

許多企業在以各種方式向soa轉型,這些soa實現方式都涉及資料。多數企業也已經在資料倉儲或企業整合團隊中啟動面向資料的元資料管理。根據soa方案進行元資料管理能給企業帶來顯著的業務與it效益。

資料服務是連線soa與元資料管理的橋梁。通過資料服務中介軟體,企業可以在短短幾個星期內從被動式的元資料建模轉向主動式的可重用資料服務開發。這不僅可以加速soa開發、提高業務敏捷性,而且每一種新模式、新服務的實現都能為其帶來更高的投資回報率。

資料服務 連線SOA與元資料管理的橋梁

最近的經濟危機使投資收益最大化成為基本的戰略準則。it資產的投資也不例外。面向服務架構 soa 由於其敏捷與重用性,能夠從當前的it資產中快速開發出具有高商業價值的應用,因此在其中扮演著極其重要的角色。然而,在任何soa應用發揮這些it資產的商業價值之前,企業必須首先能夠了解並自由支配這些資產,而這...

元資料管理

大資料倉儲越來越重視元資料的管理,但是元資料怎麼管理,還處於探索階段。這樣帶來的弊端顯而易見,就是1 及時性達不到,2 準確性達不到,3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉,迫切需要乙個介面展示具體指的意思,業務統計口徑等,用乙個web介面展示,但是後端還是e...

元資料管理

元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時,提供採集日誌資訊的檢視,檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌,採集的數量等等。元資料採集完成後,儲存在資料庫中,支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...