前端傳過來表名、列名、列的脫敏規則的json,我在後端解析出規則bean的物件,編寫對應的方法或者udf,然後在df或者sql中對指定列進行轉換,儲存為檔案後。通過distcp傳送到別的集群
將json轉為規則bean,根據bean獲取表的列和對應的列需要呼叫的函式。
df.selectexpr( 自定義函式( 列名 ) )
md5是一種雜湊演算法,屬於非對稱加密,意思就是無法恢復。
一開始並不是用來加密的,其本質用途是用於對比兩個食物是否為同乙個,換句話可以說是一種簽名,每個人的簽名都應該是不一致的,因此需要對比兩個物件時,可以不對比物件本身,而對比他們的簽名(雜湊值)
但它並不是絕對安全的,有一定的概率出現碰撞,畢竟數是無限的,而md5是有限的。但在一般場景應用很廣,比如密碼脫敏、檔案完整性的校驗。
在實際的專案開發中,使用者的密碼,一般會經過md5後存入資料庫,驗證的原理跟上文一致。樓上說的很對,一般儲存密碼是都會加salt後在計算md5值:md5(password + salt)或者多次md5:md5(md5(password)),這樣其實可保證密碼的安全性。
可恢復
資料脫敏技術
敏感資料 如信用卡號碼 個人識別資訊 如社會安全號碼 醫療診斷和甚至非個人的敏感資料 例如公司財務資訊和智財權 的 是由於企業員工和外部人士濫用職權或工作失誤所致。資料脫敏技術的目是通過從客戶端隱藏敏感資料,以防止這些資料的濫用。技術 商提供了多種資料脫敏技術,例如用相似的字元替代一些字段 用遮蔽字...
資料脫敏問題
上面說到,在 涉及客戶安全資料或者一些商業性敏感資料的情況下 對資料進行改造,說明我們要進行改造的資料是涉及到使用者或者企業資料的安全,進行資料脫敏其實就是對這些資料進行加密,防止洩露。對於脫敏的程度,一般來說只要處理到無法推斷原有的資訊,不會造成資訊洩露即可,如果修改過多,容易導致丟失資料原有特性...
Oracle資料脫敏
簡介 所有涉及客戶資訊 姓名 聯絡 電子郵件位址 住址 收件位址 身份證號 護照號 信用卡號 的系統均不得在開發資料庫 測試資料庫中保留真實資料,均要進行資料脫敏。下邊直接進入正題,oracle資料處理 1.手機號脫敏 update table set 列 case when 列 is notnul...