1.元資料(metadata)?
1.1 什麼是元資料
任何檔案系統中的資料分為資料和元資料。資料是指普通檔案中的實際資料，而元資料指用來描述乙個檔案的特徵的系統資料，諸如訪問許可權、檔案擁有者以及檔案資料塊的分布資訊(inode...)等等。在集群檔案系統中，分布資訊包括檔案在磁碟上的位置以及磁碟在集群中的位置。使用者需要操作乙個檔案必須首先得到它的元資料，才能定位到檔案的位置並且得到檔案的內容或相關屬性。
1.2 元資料管理方式
元資料管理有兩種方式。集中式管理和分布式管理。集中式管理是指在系統中有乙個節點專門司職元資料管理，所有元資料都儲存在該節點的儲存裝置上。所有客戶端對檔案的請求前，都要先對該元資料管理器請求元資料。分布式管理是指將元資料存放在系統的任意節點並且能動態的遷移。對元資料管理的職責也分布到各個不同的節點上。大多數集群檔案系統都採用集中式的元資料管理。因為集中式管理實現簡單，一致性維護容易，在一定的操作頻繁度內可以提供較滿意的效能。缺點是單一失效點問題，若該伺服器失效，整個系統將無法正常工作。而且，當對元資料的操作過於頻繁時，集中的元資料管理成為整個系統的效能瓶頸。
分布式元資料管理的好處是解決了集中式管理的單一失效點問題， 而且效能不會隨著操作頻繁而出現瓶頸。其缺點是，實現複雜，一致性維護複雜，對效能有一定影響。
2.資料治理
2.1 什麼是資料治理？
維基百科：資料治理對於確保資料的準確、適度分享和保護是至關重要的。有效的資料治理計畫會通過改進決策、縮減成本、降低風險和提高安全合規等方式，將價值回饋於業務，並最終體現為增加收入和利潤。
筆者認為：所有為提高資料質量而展開的業務、技術和管理活動都屬於資料治理範疇。資料治理的目的就是通過有效的資料資源控制手段，進行資料的控制，以提公升資料質量進而提公升資料變現的能力。
2.2 為什麼需要資料治理？
• 資料質量層次不齊
• 資料交換和共享困難
• 缺乏有效的管理機制
• 存在資料安全隱患
2.3 dmbok的資料治理框架
dmbok是由資料管理協會（dama）編撰的關於資料管理的專業書籍，一本dama 資料管理辭典。對於企業資料治理體系的建設有一定的指導性。注：dama 是資料管理協會的簡稱，是乙個全球性資料管理和業務專業志願人士組成的非營利協會，致力於資料管理的研究和實踐。
dmbok將資料管理分為以下10個職能域：
• 資料開發：資料的分析、設計、實施、測試、部署、維護等工作。
• 資料操作管理：提供從資料獲取到清除的技術支援。
• 資料安全管理：確保隱私、保密性和適當的訪問許可權等。
• 資料倉儲和商務智慧型管理：實現報告和分析。
• 檔案和內容管理：管理資料庫以外的資料
• 元資料管理：元資料的整合、控制以及提供元資料。
• 資料質量管理：定義、監測和提高資料質量。
• 資料架構管理：定義資料資產管理藍圖。
• 資料控制：在資料管理和使用層面之上進行規劃、監督和控制。
2.4 資料治理的內容
資料治理是長期、複雜的工程，涉及到組織體系、標準體系、流程體系、技術體系和評價體系五方面的工作領域，包含了元資料管理、主資料管理、資料標準管理、資料質量管理和資料安全管理 等多個方面內容。
組織體系：資料治理專案的實施絕非是乙個部門的事情，不能在企業的單一部門得到解決。需要從整個組織考慮，建立專業的資料治理組織體系，進行資料資產的確權，明確相應的治理制度和標準，培養整個組織的資料治理意識。這需要 it 與業務部門進行協作，而且必須始終如一地進行協作，以改善資料的可靠性和質量，從而為關鍵業務和管理決策提供支援，並確保遵守法規。
標準體系：資料治理的標準體系是多個層面的，包括：國際標準、國家標準、行業標準、企業標準等。企業資料標準體系內容應涵蓋：元資料標準、主資料標準、參照資料標準、資料指標標準等。資料治理的成效，很大程度上取決與資料標準的合理性和統一實施的程度。企業資料標準體系的建設應既滿足當前的實際需求，又能著眼未來與國家及國際的標準接軌。
流程體系：資料治理流程體系，為資料治理的開展提供有據可依的管理辦法、規定資料治理的業務流程、資料治理的認責體系、人員角色和崗位職責、資料治理的支援環境和頒布資料治理的規章制度、流程等。建立資料的生產、流轉、使用、歸檔、消除的整個生命週期管理的過程。企業應圍繞資料治理的物件：資料質量、資料標準、主資料、元資料、資料安全等內容建立相應的制度和流程。
評價體系：建立資料評價與考核體系是企業實施和貫徹資料治理相關標準、制度和流程的根本。建立明確的考核制度，實際操作中可根據不同企業的具體情況和企業未來發展要求建立資料的認責體系，設定考核指標和考核辦法，並與個人績效掛鉤。考核指標包括兩個方面內容，一方面是對資料的生產、管理和應用等過程的評估和考核指標，另一方面是資料質量的評測指標。
技術體系：資料治理包括資料治理的工具和技術，總體應包括元資料管理、主資料管理、資料標準管理、資料質量管理和資料安全管理。
元資料管理：元資料管理是對企業涉及的業務元資料、技術元資料、管理元資料進行盤點、整合和管理，按照科學、有效的機制對元資料進行管理，並面向開發人員、終端使用者提供元資料服務，以滿足使用者的業務需求，對企業業務系統和資料分析平台的開發、維護過程提供支援。借助變更報告、影響分析等應用，控制資料質量、減少業務術語歧義和建立業務和技術之間的良好溝通渠道，進一步提高各種資料的可信性、可維護性、適應性和可整合性。
資料標準管理：資料標準適用於業務資料描述、資訊管理及應用系統開發，可以作為經營管理中所涉及資料的規範化定義和統一解釋，也可作為資訊管理的基礎，同時也是作為應用系統開發時進行資料定義的依據。涉及國家標準、行業標準、企業標準和地方標準，在定義元資料實體或元素時進行關聯。資料標準需要不斷的補充完善、更新優化和積累，以便更好的支撐業務的開發和系統的整合。
主資料管理：主資料管理是通過運用相關的流程、技術和解決方案，對企業核心資料的有效管理過程。主資料管理涉及主資料的所有參與方，如使用者、應用程式、業務流程等，建立並維護企業核心資料一致性、完整性、關聯性和正確性。主資料是企業內外被廣泛應用和共享的資料，被譽為是企業資料資產中的「**資料」，主資料管理是撬動企業數位化轉型的支點，是企業資料治理最核心的部分。
資料質量管理：建立資料質量管理體系，明確資料質量管理目標、控制物件和指標、定義資料質量檢驗規則、執行資料質量檢核，生產資料質量報告。通過資料質量問題處理流程及相關功能實現資料質量問題從發現到處理的閉環管理，從而促進資料質量的不斷提公升。
資料安全管理：目前多數人都知道資料安全問題十分重要，但在現實中，資料安全卻常常被忽視，只有出現了資料安全問題甚至事故時，人們才認識到要為資料安全做點什麼了。資料安全應貫穿資料治理全過程，應保證管理和技術兩條腿走路。從管理上，建立資料安全管理制度、設定資料安全標準、培養起全員的資料安全意識。從技術上，資料安全包括：資料的儲存安全、傳輸安全和介面安全等。當然，安全與效率始終是乙個矛盾體，資料安全管控越嚴格，資料的應用就可能越受限。企業需要在安全、效率之間找到平衡點。
資料治理 元資料 定義
基本定義 舉例說明 如果僅僅看上面的這個定義可能還不能理解，那我們舉個例子。在乙個儲存客戶資訊的表中定義了性別字段，其資料型別是varchar，取值範圍一般也就有如下幾種 male female null，三種也就是分別代表男 女 未知。那我們在向這個客戶表中維護客戶資訊時，性別欄位也就只能有mal...
資料治理 元資料 元資料的作用
元資料的主要作用 相信看到這個部落格，您已經對什麼是元資料有了一定的了解，如果還不夠了解可以網上搜一下，也可以參見我的另一篇部落格 資料治理 元資料 定義 url 元資料的作用主要體現在以下幾方面 1 便捷的業務導航 可以讓相關人員更快的理解組織內的業務範圍，業務流程，應用系統，資料類別，歸屬關係等...
資料治理 元模型
元模型是描述資料的資料 data about data 主要描述資料屬性的資訊。是描述資訊資源或資料等物件的資料。其使用目的在於 識別資源 評價資源 追蹤資源在使用過程中的變化 簡單高效的管理大量網路化資料 實現資訊資源的有效發現 查詢 一體化組織和對使用資源的有效管理。元模型的基本特點如下 1.元...