(原創文章)羊毛黨何去何從

2021-07-10 14:05:17 字數 2484 閱讀 3298

曾幾何時,網際網路興趣了「薅羊毛」這個詞,同時開始了乙個新興的職業:「羊毛黨」。從月入首付的打車軟體羊毛黨,到日入萬元的外賣羊毛黨,當前該職業已滲透當網際網路行業的方方面面。同時也催生了更多的上下游,給企業帶來了不小的影響。

同時,各路羊毛**也隨之產生,大量的使用者穿梭在各大**間體驗薅羊毛

的快感。

作為網際網路企業的一員,攜程同樣遇到了如上情況。為此,攜程內部進行了大量的防護實踐,並有了一定效果。

防範「惡意使用者」主要通過對使用者的各種資料進行分析,從中提取使用者的特徵,進而從普通使用者中識別出「惡意使用者」,進行一定的控制,減少損失。

使用者資料主要分為:註冊資料、登入資料、活動資料、驗證碼請求資料,

關鍵功能點資料等。通過這些資料進行模型匹配後,產生大量惡意的資料,及黑名單,黑名單包括

ip、使用者

id、手機號、裝置號、郵箱等維度。業務系統根據這些黑名單及相應的風險等級,來限制黑名單使用者的功能。

技術架構圖

安全大資料平台:整合了訊息佇列、流式計算、elasticsearch等技術,其中收集了安全分析所用到的各種資料。

規則計算引擎:通過一些規則分析安全大資料平台中的資料,從其中可以抓到大量的惡意使用者,目前的規則可以抓取惡意註冊、惡意登入、爬蟲、惡意領券等資料;惡意資料維度包括ip

、手機號、裝置號、郵箱、使用者

id等。

行業共享黑名單資料:生態圈內的惡意共享資料;

打碼平台資料:主要為手機號資料

人工錄入資料:系統管理員手動錄入的資料,多為白名單資料;

風險庫:將規則計算引擎、行業共享黑名單、打碼平台資料集中儲存到風險庫中;

風險動態計算引擎:綜合風險庫中的各種資料,實時計算出指定資料的風險等級;

對外介面:提供風險資料查詢介面,查詢具體資料的風險等級;

離線資料etl計算

整體架構

基於整體架構設計,在防護上的應用。劃分成幾大模組:

一. 資料來源:

(1) 使用者行為日誌(**於kafka

的請求資料,日均百萬

pv資料,流式進行資料計算)

(2) 介面呼叫命中日誌(單個api

千萬次呼叫,呼叫資料elasticsearch以及hbase

方式落地,切乎使用關聯式資料庫

mysql

方式,單錶上億即引發效能瓶頸)

(3) 準實時使用者tag

(根據使用者當前維度,關聯維度資料行為,通過規則引擎流式

storm

計算,對風險使用者準實時打

tag)

(4) 生態圈黑名單資料(和外部進行實時黑名單資料對接,資料實時入庫)

二. 資料統計層:通過規則計算和底層tag

資料快取進

redis

提高api

呼叫效能,

redis

單個查詢控制在

1ms內

(1) 動態黑名單(通過etl

離線規則計算資料,規則命中定時過期資料)

(2) 固定黑名單(定期過期):內部資料針對規則生效(含白名單規則定期過濾),外部惡意資料含有效期過期

三. 規則管理:含規則設定,效果展示和分析,審計等模組

(1) 字段資料維護:靈活維護底層資料字段

(2) 規則維護(自開發規則引擎,類似drools

):支援四則規則運算,可進行複雜規則配置及多規則判定(毫秒級規則計算)

(3) 實時規則下發:動態規則實時生效

(4) 規則命中展現:不同規則攔截,放行及不同規則命中率展示,無效規則進行改進

(5) 審計模組:定期對規則,字段資料進行review

四. 對外介面服務

(1) 傳遞引數:前端通過api

介面傳遞對應有效引數,如:ip,

ua,裝置指紋等引數傳給風控介面

(2) 風控介面接收引數通過redis

快取資料判斷,規則引擎實時計算

10ms

內返回風險值給前端

(3) 前端通過返回值進行不同的挑戰控制(放行,驗證碼,簡訊驗證碼,禁止)等來對風險進行防護

(4) 風控對命中資料落地,進行後期規則建模

攜程在自身海量資料積累的基礎上,結合整體行業資料以及建立的風控架構體系,形成了一套有效的防護體系機制,同時攜程也建立了攜程安全雲平台

,並將相關技術和生態圈公司免費共享。

羊毛黨千億產業鏈,資訊保安何去何從?

1月20日凌晨,拼多多被曝出現重大bug,使用者可領100元無門檻券。稱 有大批使用者開始 薅羊毛 在 薅羊毛 事件發生幾個小時後,拼多多客戶服務對此事發布了官方回應 關於 黑灰產通過平台優惠券漏洞不正當牟利 的宣告 1月20日晨,有黑灰產團夥通過乙個過期的優惠券漏洞盜取數千萬元平台優惠券,進行不正...

乙個羊毛黨的自白

以前我寫過幾篇相關的文章 乙個悲傷的故事 商旅服務的水有多深 從空空狐談信用卡套利 國內最近有不少關於羊毛黨的報道和介紹,提到羊毛黨,似乎就定義為鑽系統規則漏洞,動用批量運作的工具,狂薅運營商收益的黑產和灰產。當然,從商業社會的影響來說,這種羊毛黨確實動靜挺大的,對很多企業和創業公司的傷害也很大。但...

「購物狂歡節」如何應對「羊毛黨」

羊毛黨 一般先利用自動機註冊大量的目標 賬號,當目標 搞 優惠等活動的時候,利用這些賬號參與活動刷取較多的優惠,最後通過某寶等電商平台轉賣獲益。據初步估計,全國 羊毛黨 在20萬人左右,他們往往有著明確的分工,已形成了幾大團夥 1.軟體製作團夥 專門製作各種自動 半自動的黑產工具,比如註冊自動機 刷...