atlas整合sqoop文件較少 簡單寫一下，sqoop hook 與hive hook是相輔相成的environment：cdh：6.2.0
sqoop：1.4.7
atlas：2.0.0
hive:2.1.1
我用的cdh版本：
1.確保/atlas/apache-atlas-2.0.0/hook/sqoop檔案，沒有看我部署篇
atlas-plugin-classloader-2.0.0.jar
atlas-sqoop-plugin-impl
sqoop-bridge-shim-2.0.0.jar
...
...######### hive hook configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numretries=3
atlas.hook.hive.queuesize=10000
atlas.cluster.name=primary
######### sqoop hook configs #######
atlas.hook.sqoop.synchronous=false
atlas.hook.sqoop.numretries=3
atlas.hook.sqoop.queuesize=10000
######### atlas authorization #########
atlas.authorizer.impl=******
atlas.authorizer.******.authz.policy.file=atlas-******-authz-policy.json
......
scp hook/sqoop/*.jar /opt/cloudera/parcels/cdh/lib/sqoop/lib
scp hook/sqoop/atlas-sqoop-plugin-impl/*.jar /opt/cloudera/parcels/cdh/lib/sqoop/lib
# hive jar 進行更新
使用Atlas進行元資料管理之Atlas簡介
背景 筆者和團隊的小夥伴近期在進行資料治理 元資料管理方向的探索,在接下來的系列文章中,會陸續與讀者們進行分享在此過程中踩過的坑和收穫。0 使用atlas進行元資料管理之atlas簡介 1 使用atlas進行元資料管理之glossary 術語 2 使用atlas進行元資料管理之type 型別 談到資...
資料整合 Flume和Sqoop
flume和sqoop是hadoop資料整合和收集系統，兩者的定位不一樣，下面根據個人的經驗與理解和大家做乙個介紹 flume由cloudera開發出來，有兩大產品 flume og和flume ng，flume og的架構過於複雜，在尋問當中會有資料丟失，所以放棄了。現在我們使用的是flume n...
HBase與Sqoop的整合
之前學習sqoop的時候都是hadoop，hive和rdbms之間進行資料的匯入與匯出，並沒有與hbase整合，下面就來講解hbase與sqoop的整合 需求 利用 sqoop 在 hbase 和 rdbms 中進行資料的轉儲，將 rdbms mysql 中的資料抽取到 hbase 中 1.在sqo...