當前大資料團隊沒有乙個統一的操作許可權控制和管理平台，對於分析師在伺服器上的許可權，目前都是給予對應分析節點的ec2機器賬號，且為了方便操作和管理都是給予的管理員許可權，因此安全性風險較大；對於資料開發者，主要通過分配iam控制aws的操作許可權；對於team的所有人都是通過分配aws的ak,sk在本地進行操作賦權；隨著資料平台的不斷的豐富和完善，需要在各元件之上做認證，鑑權和審計等管理，資料許可權管理平台主要是為了統一所有人的操作許可權而設計。開源許可權元件apache ranger和apache sentry存在以下問題:
綜上，資料平台團隊準備自研資料許可權管理系統。
管理後台從雲端獲取使用管理後台的user介面得到所有使用系統的使用者列表
在管理後台裡對使用者列表中指定的使用者進行授權，在授權的過程中，把使用者的email,name資訊同步到資料側rds，並儲存許可權關係到資料側的rds中，儲存成功後，直接重新整理資料側的鑑權api使用的記憶體快取
其他平台：如資料整合，資料排程，執行引擎，資料查詢，元資料等系統涉及到的資源都只會依賴資料許可權管理系統裡的許可權，不受其他約束
執行引擎先查詢該使用者提交的任務裡的資源是否擁有許可權，如果有，則檢查許可權是否符合期望，如果符合，則執行其他操作，會進一步將許可權更新到許可權配置裡，如使用者擁有db的create許可權，則該使用者在此db下新建的表，預設對該使用者有all的許可權，對該使用者所在的組內其他人僅有read許可權
使用者能夠在以上平台內操作，當前僅當使用者擁有了至少一項許可權，否則對不同操作型別，僅有預設以下許可權：
db:展示當前所有database名稱的許可權
table:展示當前所有database的不同database下的所有table名稱許可權
path:展示當前所有的bucket名稱許可權
考慮到鑑權是乙個高頻操作，而賦權是乙個低頻操作，因此盡可能的減少表關聯，所以使用了簡化的rbac模式
user表裡的admin是資料平台系統級別，擁有admin許可權的使用者將不需要任何驗證，對資源具有所有管理權，所有許可權郵件審批都會給admin發郵件
user_group_user的group_admin是group級別（group可以沒有group_admin），只對該group管理的資源有許可權管理，該組的許可權郵件的審批會給group_admin和admin同時發郵件，且group_admin具備審批資格
許可權表裡的許可權對於資源的定義如下：
大資料平台資料倉儲分層
1 緩衝資料層bdm 源業務系統資料的快照，儲存細節資料，按天儲存。2 基礎資料層fdm 按業務概念組織細節資料。3 通用資料層gdm 根據京東核心業務價值鏈按照星型模型或雪花模型設計方式建設的最細業務粒度彙總層。在本層需要進行指標與維度的標準化，保證指標資料的唯一性。4 資料層adm 根據不同的業...
資料中臺 資料倉儲 大資料平台
資料中颱是一套可持續 讓企業的資料用起來 的機制，一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方 支撐，構建一套持續不斷把資料變成資產並服務於業務的機制。資料中臺 資料倉儲 大資料平台的關鍵區別是什麼？認可了資料中颱的價值，我們自然是想要去快速搭建，然後真正去規劃...
大資料平台容量評估 大資料平台
系統概述 大資料應用支撐平台提供資料支撐服務，對外發布資料服務進行資料價值變現。包含資料採集 資料治理 資料交換 資料儲存 資料計算相關元件的搭建 驗證，並建立大資料倉儲。b 功能要求 2.資料治理，由於從資料採集工具採集過來的資料不具備統一的資料標準及資料格式，資料治理工具需要對到達的資料進行格式...