利用元資料管理資料質量

2021-08-26 14:59:41 字數 711 閱讀 2519

什麼是元資料:

任何檔案系統中的資料分為資料和元資料。資料是指普通檔案中的實際資料,而元資料指用來描述乙個檔案的特徵的系統資料,諸如訪問許可權、檔案擁有者以及檔案資料塊的分布資訊(inode...)等等。在集群檔案系統中,分布資訊包括檔案在磁碟上的位置以及磁碟在集群中的位置。使用者需要操作乙個檔案必須首先得到它的元資料,才能定位到檔案的位置並且得到檔案的內容或相關屬性。

元資料管理方式;

元資料管理有兩種方式。集中式管理和分布式管理。集中式管理是指在系統中有乙個節點專門司職元資料管理,所有元資料都儲存在該節點的儲存裝置上。所有客戶端對檔案的請求前,都要先對該元資料管理器請求元資料。分布式管理是指將元資料存放在系統的任意節點並且能動態的遷移。對元資料管理的職責也分布到各個不同的節點上。大多數集群檔案系統都採用集中式的元資料管理。因為集中式管理實現簡單,一致性維護容易,在一定的操作頻繁度內可以提供較滿意的效能。缺點是單一失效點問題,若該伺服器失效,整個系統將無法正常工作。而且,當對元資料的操作過於頻繁時,集中的元資料管理成為整個系統的效能瓶頸。

分布式元資料管理的好處是解決了集中式管理的單一失效點問題, 而且效能不會隨著操作頻繁而出現瓶頸。其缺點是,實現複雜,一致性維護複雜,對效能有一定影響。

如何利用元資料管理資料質量:利用元資料管理資料質量

阿里雲大學官網(阿里雲大學 - 官方**,雲生態下的創新人才工場)

利用元資料管理資料質量

什麼是元資料 任何檔案系統中的資料分為資料和元資料。資料是指普通檔案中的實際資料,而元資料指用來描述乙個檔案的特徵的系統資料,諸如訪問許可權 檔案擁有者以及檔案資料塊的分布資訊 inode.等等。在集群檔案系統中,分布資訊包括檔案在磁碟上的位置以及磁碟在集群中的位置。使用者需要操作乙個檔案必須首先得...

利用元資料管理資料質量

阿里雲大學課程 利用元資料管理資料質量 課程介紹 隨著企業資料不斷膨脹,資料間構成了一張極為複雜的加工關係網圖。如果資料出現了錯誤,如何快速的鎖定引發問題的原因,如何發現哪些實體會受到影響。通過本認證學習,學員可掌握資料倉儲元資料的應用及核查方法,通過記錄核查表,利用元資料,分析資料產生問題的原因,...

利用元資料管理資料質量

通過本認證學習,學員可掌握資料倉儲元資料的應用及核查方法,通過記錄核查表,利用元資料,分析資料產生問題的原因,制定解決方案,提公升資料質量。關於利用元資料管理資料質量詳細內容 apsara clouder大資料專項技能認證 利用元資料管理資料質量 隨著企業資料不斷膨脹,資料間構成了一張極為複雜的加工...