背景
近年來，隨著資訊科技的發展，社會的資訊化程度越來越高，企業的it系統高速發展，滲透到企業的各個業務中，業務系統產生的資料也與日俱增。資料已經成為了企業生產的新動力，為企業的業務增長發揮著至關重要的作用。
企業在利用資料帶來業務快速增長的好處，但同時也面臨著資料冗餘、資料難發現、效率低下、耗費資源等問題，越來越多的問題暴露出來，其中最尖銳的問題可以概況為以下幾類：
乙個業務系統經過反覆幾次迭代開發，由於開發人員經過了幾次輪換，文件的缺失以及更新不及時，導致最終線上執行系統的資料庫庫表是怎麼樣的，沒有人能說清楚？生產系統出現問題，開發人員如何讀懂以前別人寫的sql 處理邏輯，快速定位問題？開發人員為了開發新的需求，重複建立了大量的冗餘表，導致資料利用的難度越來越大。
業務系統新版本上線，都會經過開發、系統測試。最後投產上線，如何確保最終投產上線的版本的庫表結構與系統測試版本保持一致，避免投產問題出現？
業務系統進行大版本公升級、上雲服務和微服務治理改造，如何評估業務系統的現有情況和複雜程度？
企業的大資料平台雖然建立了，但各個系統仍然還是孤立建設，只做到了資料原封搬家，資料之間沒有實現關聯、互補，沒有合理關聯起資料間的關聯，發現其隱含的資料價值，導致資料的利用率降低。
產品定位
為了解決企業面臨的這些問題，天雲資料公司設計研發了一款系統邏輯探查產品—adg，基於圖資料庫使用點、邊、屬性來表示和儲存元資料，建立起元資料的關聯關係，打破原本孤立的資料孤島，統一管理企業資料，讓原本各自為政的資料關聯起來，發揮出資料隱含的價值。
元資料關聯關係分析——獲取到資料來源後，adg產品通過sql解析和圖模型建立起統一的元資料關聯關係；
元資料關係探查——利用圖資料庫的關聯關係查詢，逐層下鑽，發現資料間的關聯關係，不在讓資料孤島式存在，發揮出更多的資料價值；
系統血緣——構建庫、表、欄位間的血緣關係，並生成相應的系統血緣分析報告，指引系統公升級、遷移、改造等。
設計理念及關鍵技術
在資料治理領域，一直以來，元資料的管理始終佔據著重要的地位，傳統方法遇到問題，新技術解決以上問題
大資料時代下，資料已被公認為一項重要的資產。而元資料管理作為資料管理框架中一項重要的管理職能，也越來越多的出現在大家的視野中。
商業價值
為整合開發環境簡單性、可靠性、一致性和自定義性的提供保障。
將資料治理納入系統或應用開發過程，進而企業可以實現更全面，可持續的資料治理計畫。
向企業中的人員提供均可以使用的資料檢視。
支援更廣泛的業務需求及應用需求。
資料血緣和影響分析在治理和風險評估中體現了重要價值，為資料治理提供更直觀的資料檢視。
adg如何構建完整資料檢視
在應用呼叫時，常常通過三種方式對資料進行加工或使用，其中包括資料字典的引用，通過schema建立主鍵、外來鍵及關聯關係，及函式與儲存過程對資料進行的轉化更新。在adg中，將這三種方式經過不同的拆分與處理，最終生成資料間的完整檢視。
首先，通過對資料字典的定義及使用，建立適用於目標的資料體系的參考資料，其中涉及了可使用的元資料，資料型別及取值範圍。
其次通過對schema、pk、fk等關聯性的分析，對於原始資料庫、表及字段的定義進行全面分解整合，通過主外來鍵等關係找出表間存在的關聯關係。與此同時，adg根據不同的使用方式將其進行劃分，最終生成資料庫間、表間及字段間的七種資料關係。
再次，利用函式和儲存過程發現資料轉化更新的演變過程。根據兩者的可重用性、共享性及可移植性，探索及還原了資料產生、演變、使用及消亡的生命週期。
最終通過以上三步的資料間關係分析，adg從不同視角實現了對現有資料系統較為完整分解與轉化，並且通過所捕獲的資訊構建了資料完整檢視。
資料治理發展趨勢的三個代際
第三代：資料治理的核心能力
ⅰ、字元-【詞向量】：用於字元型資料相似性分析。通過計算字串轉換次數，來進行相似度比較。其中轉換操作包括替換、插入、刪除等。通過計算操作次數，進而獲得字元型資料間的相似程度。
ⅲ、主體構建【機器學習】：利用機器學習的方式優化系統中的主資料。adg從多個資料來源獲取資料，對已知資料進行分析與匹配，通過機器學習的方式，在構建資料實體。在此期間，為確保準確性，還通過自動化和協作的方式進行指定的資料校驗。
ⅳ、資料目錄【人工智慧】：adg通過自動化和協作的方式對資料系統構建了資料目錄，其通過業務元資料將技術元資料進行豐富，通過資料間的關聯關係、資料間的相似性進行資料編目。
ⅴ、圖資料庫：通過使用圖資料庫作為後端儲存的一部分，更好的將資料實體與關係進行儲存及使用，提高了資料服務效率。
adg所解決的問題
資料可信度：提公升資料的質量、準確性和安全性。
資料可訪問性：對於不同人員資料人員，即資料管理者、使用者、運維人員，獲取正確資料。
體現資料價值：對資料系統進行統一管理，增加資料使用的能力。
adg產品功能概覽
adg產品優勢
adg不同系統 ADG讀寫分離技術在銀行的推廣應用
adg 讀寫分離技術在銀行的推廣應用 平安銀行總行科技運營中心副總經理 崔濤 期刊名稱 中國金融電腦 年卷 期 2017 000 005 總頁數 一 網際網路混合型應用對銀行系統的挑戰 隨著零售業務及網際網路模式的快速發展，傳統銀行系統需要應對更多的技術挑 戰。為應對零售業務模式的變更，在傳統聯機交...
不同系統間傳輸float型資料
include include int main void r1,r2 特別需要注意的是在微控制器中int float double 型別的字長和pc機中是不一樣的，需要注意 r1.d 7.215487 23131 r2.data 0 r1.data 0 r2.data 1 r1.data 1 r2...
不同系統間的資料庫遷移
假設我們有乙個ibm db2資料庫，這個資料庫裡有很多表 可能上百張甚至更多 又有很多索引 外來鍵約束 觸發器。最要命的是還有一些含有自增字段的表 含有generated always as identity定義的字段的表 我們也沒有關於這些資料庫物件的準確建立指令碼 筆者經常碰到客戶有這種情況 現...