Apache Atlas資料治理和元資料框架

2021-10-09 07:45:03 字數 626 閱讀 8219

三、高階架構

四、型別系統

五、搜尋

六、hook

七、獲取元資料的原理

八、部署安裝

九、參考資料

1.元資料型別 & 例項(metadata types & instances)

2.分類(classification)

3. 血緣(lineage)

4.搜尋/發現(search/discovery)

5.安全和資料遮蔽1.atlas的架構

2.核心層(core)

atlas核心包含以下元件:

3.整合層(integration)

4.元資料來源層(metadata sources)

整合意味著兩件事:atlas定義的元資料模型用於表示這些元件的物件。 atlas提供了從這些元件中攝取元資料物件的元件(在某些情況下實時或以批處理模式)。

6.儲存層1.hive hook

atlas獲取hive元資料主要有兩步:

atlas獲取hive元資料的原理:

元資料管理 Apache Atlas

atlas是hadoop的資料治理和元資料框架。atlas是一組可擴充套件和可擴充套件的核心基礎治理服務,使企業能夠有效,高效地滿足hadoop中的合規性要求,並允許與整個企業資料生態系統整合。apache atlas為組織提供了開放的元資料管理和治理功能,以建立其資料資產的目錄,對這些資產進行分類...

資料治理 VS 公司治理 IT治理 數倉治理

如題,今天要聊得這個話題,包含了四個 治理 看完這張圖你有什麼想法,這張圖說明了什麼?它是在描述公司治理 it治理 數倉治理和資料治理的關係嗎?如果這張圖是在描述四個 治理 之間的層次結構,那你認為哪乙個結構是正確的呢?如果您是企業的高管,您會選擇哪個結構,來實施 治理 呢?01 資料治理 vs 公...

資料治理那些事兒 資料治理勢在必行

資料治理勢在必行 終於在那天人們回想起了 業務分析師不得不對it部門負責,因為他們不知道如何導航資訊管理系統資料庫,即使他們可以也不會被授予訪問許可權。it部門列印出月度報告並分發它們,就像摩西從石頭上下山一樣。隨著個人計算機的出現,權力的平衡從根本上發生了變化。突然之間,商人可以訪問電子 並可以建...