曾幾何時,網際網路興趣了「薅羊毛」這個詞,同時開始了乙個新興的職業:「羊毛黨」。從月入首付的打車軟體羊毛黨,到日入萬元的外賣羊毛黨,當前該職業已滲透當網際網路行業的方方面面。同時也催生了更多的上下游,給企業帶來了不小的影響。
同時,各路羊毛**也隨之產生,大量的使用者穿梭在各大**間體驗薅羊毛
的快感。
作為網際網路企業的一員,攜程同樣遇到了如上情況。為此,攜程內部進行了大量的防護實踐,並有了一定效果。
防範「惡意使用者」主要通過對使用者的各種資料進行分析,從中提取使用者的特徵,進而從普通使用者中識別出「惡意使用者」,進行一定的控制,減少損失。
使用者資料主要分為:註冊資料、登入資料、活動資料、驗證碼請求資料,
關鍵功能點資料等。通過這些資料進行模型匹配後,產生大量惡意的資料,及黑名單,黑名單包括
ip、使用者
id、手機號、裝置號、郵箱等維度。業務系統根據這些黑名單及相應的風險等級,來限制黑名單使用者的功能。
技術架構圖
安全大資料平台:整合了訊息佇列、流式計算、elasticsearch等技術,其中收集了安全分析所用到的各種資料。
規則計算引擎:通過一些規則分析安全大資料平台中的資料,從其中可以抓到大量的惡意使用者,目前的規則可以抓取惡意註冊、惡意登入、爬蟲、惡意領券等資料;惡意資料維度包括ip
、手機號、裝置號、郵箱、使用者
id等。
行業共享黑名單資料:生態圈內的惡意共享資料;
打碼平台資料:主要為手機號資料
人工錄入資料:系統管理員手動錄入的資料,多為白名單資料;
風險庫:將規則計算引擎、行業共享黑名單、打碼平台資料集中儲存到風險庫中;
風險動態計算引擎:綜合風險庫中的各種資料,實時計算出指定資料的風險等級;
對外介面:提供風險資料查詢介面,查詢具體資料的風險等級;
離線資料etl計算
整體架構
基於整體架構設計,在防護上的應用。劃分成幾大模組:
一. 資料來源:
(1) 使用者行為日誌(**於kafka
的請求資料,日均百萬
pv資料,流式進行資料計算)
(2) 介面呼叫命中日誌(單個api
千萬次呼叫,呼叫資料elasticsearch以及hbase
方式落地,切乎使用關聯式資料庫
mysql
方式,單錶上億即引發效能瓶頸)
(3) 準實時使用者tag
(根據使用者當前維度,關聯維度資料行為,通過規則引擎流式
storm
計算,對風險使用者準實時打
tag)
(4) 生態圈黑名單資料(和外部進行實時黑名單資料對接,資料實時入庫)
二. 資料統計層:通過規則計算和底層tag
資料快取進
redis
提高api
呼叫效能,
redis
單個查詢控制在
1ms內
(1) 動態黑名單(通過etl
離線規則計算資料,規則命中定時過期資料)
(2) 固定黑名單(定期過期):內部資料針對規則生效(含白名單規則定期過濾),外部惡意資料含有效期過期
三. 規則管理:含規則設定,效果展示和分析,審計等模組
(1) 字段資料維護:靈活維護底層資料字段
(2) 規則維護(自開發規則引擎,類似drools
):支援四則規則運算,可進行複雜規則配置及多規則判定(毫秒級規則計算)
(3) 實時規則下發:動態規則實時生效
(4) 規則命中展現:不同規則攔截,放行及不同規則命中率展示,無效規則進行改進
(5) 審計模組:定期對規則,字段資料進行review
四. 對外介面服務
(1) 傳遞引數:前端通過api
介面傳遞對應有效引數,如:ip,
ua,裝置指紋等引數傳給風控介面
(2) 風控介面接收引數通過redis
快取資料判斷,規則引擎實時計算
10ms
內返回風險值給前端
(3) 前端通過返回值進行不同的挑戰控制(放行,驗證碼,簡訊驗證碼,禁止)等來對風險進行防護
(4) 風控對命中資料落地,進行後期規則建模
攜程在自身海量資料積累的基礎上,結合整體行業資料以及建立的風控架構體系,形成了一套有效的防護體系機制,同時攜程也建立了攜程安全雲平台
,並將相關技術和生態圈公司免費共享。
羊毛黨千億產業鏈,資訊保安何去何從?
1月20日凌晨,拼多多被曝出現重大bug,使用者可領100元無門檻券。稱 有大批使用者開始 薅羊毛 在 薅羊毛 事件發生幾個小時後,拼多多客戶服務對此事發布了官方回應 關於 黑灰產通過平台優惠券漏洞不正當牟利 的宣告 1月20日晨,有黑灰產團夥通過乙個過期的優惠券漏洞盜取數千萬元平台優惠券,進行不正...
乙個羊毛黨的自白
以前我寫過幾篇相關的文章 乙個悲傷的故事 商旅服務的水有多深 從空空狐談信用卡套利 國內最近有不少關於羊毛黨的報道和介紹,提到羊毛黨,似乎就定義為鑽系統規則漏洞,動用批量運作的工具,狂薅運營商收益的黑產和灰產。當然,從商業社會的影響來說,這種羊毛黨確實動靜挺大的,對很多企業和創業公司的傷害也很大。但...
「購物狂歡節」如何應對「羊毛黨」
羊毛黨 一般先利用自動機註冊大量的目標 賬號,當目標 搞 優惠等活動的時候,利用這些賬號參與活動刷取較多的優惠,最後通過某寶等電商平台轉賣獲益。據初步估計,全國 羊毛黨 在20萬人左右,他們往往有著明確的分工,已形成了幾大團夥 1.軟體製作團夥 專門製作各種自動 半自動的黑產工具,比如註冊自動機 刷...