統一資料交換 UDX

2021-08-20 14:17:54 字數 3651 閱讀 7071

udx:unified data exchange system統一資料交換系統

udx是乙個分布式的資料物件交換系統。儲存在不同平台,資料庫,應用系統的資料通過udx能夠以資料物件為單位進行交換。

乙個資料物件是乙個有意義的業務實體。

udx系統的組成如下圖所示:

交換主體是需要交換資料的系統,如乙個資料庫。

資料提供者介面方式[1]支援:

l  空介面:空介面是直接面向提供者資料來源

空介面方式支援全表處理和增量處理2種方式。

全表處理僅適用於資料量少,實時性要求不高的應用。

增量處理依賴資料來源的某個字段,如最後更新時間字段,或時序遞增的字段(如自增長字段)

空介面不需要對原系統做任何修改,對資料來源唯讀。

空介面支援新增和修改,不支援刪除。刪除對於業務系統而言通常不是必須的,所以本方案仍是快速,簡單的選擇。

l  事件佇列:事件佇列表記錄資料變更的摘要資訊,如什麼資料發生了什麼變化。由業務應用系統寫入。

事件佇列方式能支援所有的實體變更。

要由應用系統寫入,應用系統可以採用統一的方式做簡單修改,如利用觸發器。

資料接收者介面方式支援:

l  空介面:直接寫入到目標資料來源中

udx核心是應用無關的分布式資料傳輸系統,提供在不同網路層上的一致的資料傳輸介面。

udx核心具有以下傳輸特性:

l  可靠:在任何故障(傳輸網路,udx故障,介面錯誤,交換實體故障)的情況下,能夠確保資料的送達

l  訊息分級:根據內容分可靠性和優先順序分級

l  時序控制:對有時序屬性的交換活動提供支援

l  高效:並行處理提供系統的交換效率

l  事務支援:提供交換實體的事務特性

l  支援安全屬性:資料加密

l  錯誤處理:資料傳輸錯誤時可以根據需要自動掛起

l  校驗:驗證資料在交換實體之間

l  可管理:udx內部元件,介面可集中配置

l  可監控:可監控udx核心,介面及交換實體的實時執行狀況

udx可以作為應用系統之間資料層的透明的整合工具。

也可基於udx構建應用系統,如傳單系統。

udx可適用的場合:

l  應用無關:適應性的擴充套件通過介面實現

l  適用於企業內部資料/應用整合

l  適用於企業之間資料交換

l  適用不同性質的企業

l  可滿足企業對關鍵資料的應用需求:如主檔管理,核心業務應用

例如,udx能為企業提供以下應用功能:

l  實現主檔等共享資料在分布式環境下的統一管理和維護

l  應用於關鍵業務流程:如流通領域的單據在不同營銷節點之間的實時傳輸

l  在業務和系統整合時,利用udx整合資料,消除資料的不一致性

l  當業務結構調整和規模擴大時,可以把集中式應用進行分布部署,udx提供內部資料同步和交換

l  整合所有現有的各種應用系統和資料資源,不論何種平台,形成企業範圍的共享的底層資料設施

l  構建企業和商業夥伴的資料交換平台,實現即時通訊,協作和線上業務處理

udx具有以下特性:

1.        支援異構資料來源:如支援在不同的資料庫之間的資料交換

2.        支援區域網和廣域網

3.        資料傳輸可靠:儲存**,重發,保證資料的正確傳輸

4.        傳輸屬性控制:可針對不同的資料指定傳輸要求,如優先順序,儲存**,時序控制,自動掛起,自動校驗

5.        高效率傳輸:支援並行處理

6.        支援單播,多播:支援乙個資料實體傳送給多個資料節點傳送

7.        資料傳輸安全:資料加密,簽名可避免資料傳輸過程被竊取或篡改

8.        支援udx伺服器驗證:提供在不安全網路環境下的安全保證

9.        易於配置:可對各個udx伺服器,介面進行遠端集中配置。介面支援自定義指令碼完成傳輸前後的擴充套件邏輯。

10.     可監控:實時執行狀態檢測,錯誤報警和提供互動式處理手段

11.     複雜復合資料支援指標值

版本1.1

伺服器作業系統

windows

主通訊資料庫

mysql

通訊節點資料庫

mysql,sql server

最大資料報(位元組)

64m(預設)

udx的技術架構如下圖[2]:

udx的核心是由多個udx伺服器組成的乙個傳輸網路。

udx伺服器通過傳輸匯流排(t-bus)連線,可組成星型結構或網狀結構。

星型結構有乙個udx主控伺服器,所有其它udx伺服器都註冊連線到主控伺服器上,這種結構在容錯性,容量方面需要在主控伺服器上應用相應的集群。

網狀結構時,每個udx伺服器都是對等的,支援最短路徑和加權路由選擇。

傳輸匯流排提供可靠,安全的傳輸服務。

udx伺服器由以下主要模組組成:

l  hotfox框架:跨平台的應用伺服器容器

l  semq例項:構成傳輸匯流排的例項,提**用模組api訪問

l  通訊模組:提供主動/被動聯結器,用於組網和通訊

l  訊息分發:多佇列的基於訊息的任務排程器

l  外掛程式管理:各種功能模組的管理模組

l  伺服器管理:管理udx伺服器的註冊和接入

介面層分兩個子層:介面處理層,介面環境層。

介面處理層負責通過介面環境層對交換實體資料進行i/o處理,處理過程對資料進行轉換。

轉換後通過位址轉換確定在udx系統的位址,呼叫udx的介面進行傳送處理。

對於接收的資料則通過介面處理層進入交換實體。

l  位址轉換

交換實體交換的資料必須有表示接收者的資訊。需要把交換實體內部的目標位址對映到udx系統中,這個過程就是位址轉換,轉換後把需要傳送的資料標記上udx的位址。

對於接收的資料,必須反向解析出交換實體的內部位址表示。

l  定址

定址是指在udx內確定接收udx伺服器的位址和路由,定址的執行實際上在udx的semq模組內完成。

l  資料轉換

根據需要把交換實體的資料轉換為udx內部格式,在出口端則還原出目標交換實體的格式。

l  資料i/o

從交換實體獲取資料和提供資料。

l  ngx,rawx

ngx是內部定義的資料交換標準

rawx表示交換實體間原始資料交換協議,即udx對資料不做任何處理的情況。

介面環境層中的各種標準和api方式同時支援雙向操作,交換實體支援和udx實現。

udx實現這些標準和提供api可用於第三方開發。

m-bus提供udx核心和介面的統一的管理和監控介面。

包括:l  資訊表示介面

l  資訊傳輸介面

l  查詢,展示:實現配置,監控框架

交換實體可以是任何有資料(資訊)交換需求的實體。

廣義上講,交換實體可以包括個人,udx則延伸到客戶端。

實體的多樣性由介面層處理和隔離。

[1]如果考慮與應用系統隔離,可以利用資料交換表在udx和接收資料源之間交換

[2] 該圖是udx的整體技術架構,目前版本未全部實現

資料交換 電路交換

為什麼要資料交換 那麼有幾個問題 1.n 2鏈路問題,有n個網路要相互連線 之後就想了乙個辦法,產生交換裝置進行連線 這樣子還有個問題,距離,連通性的問題 這樣就產生了交換網路 動態分配傳輸資源 實現資料從源主機穿越交換網路到達目的機 資料交換的型別 電路交換 報文交換 分組交換 最典型電路交換網路...

資料交換技術

廣域網研究的重點就是寬頻核心交換技術。從交換技術的發展歷史看,資料交換經歷了電路交換 報文交換 分組交換和綜合業務數字交換的發展過程。分組交換實質上是在 儲存 基礎上發展起來的。它兼有電路交換和報文交換的優點。常說的分組交換也就是儲存 方式中的報文分組交換方式。包括資料報方式和虛電路方式。資料報類似...

分割槽資料交換

資料交換表面看上去是兩個段裡面的資料進行交換,其實就是資料字典的交換,但是表結構必須一樣 下面乙個例子交換分割槽和索引 建立分割槽 create table part index example x number y number,data varchar2 20 partition by rang...