導讀
本文針對模擬點選的黑產即時防控問題,介紹過去2年螞蟻集團在技術方面的工作,旨在介紹風險存在的原因、風險的特點、風險的技術分析以及風險的防控方法。
一、背景
1.1. 模擬點選定義及其特點
模擬點選是非常寬泛的概念,簡單來說,模擬點選是指透過指令碼、系統指令完成一些自動化點選的操作,不需要人為點選。黑灰產利用模擬點選技術,滲透到遊戲行業、金融行業、社交行業、直播行業等等,其具備如下特點:
1.2. 為什麽要即時防控
黑灰產利用模擬點選技術影響了很多使用場景,在激烈的攻防和快節奏的行銷活動中,急需建立完備的模擬點選風控能力。
其中,對模擬點選黑灰產的即時防控能力建設的必要性體現在:
- 人贓並獲,及時止損:業務實踐場景需要更靈敏的黑灰產防控時效,比如領券核銷場景,事後防控不能挽回損失。黑灰產的模擬點選防控講究「人贓並獲,及時止損」。
- 對事不對人:黑灰產使用者可能也會有正常的操作,不宜「一棒子打死」,管控的粒度應為使用者的操作,而非使用者本身,「對事不對人」。
1.3. 終端裝置上建立即時管控能力的必要性
模擬點選防控的「即時化」存在難點。首先在系統鏈路上,支付寶體系下行銷活動是全民級別的,流量巨大,要兼顧風控與業務體驗,這對於風控的處理時效有很高的要求;其次在防控效果上,即時的防控需要更多即時的特征刻畫,雲端無法獲取足夠的即時特征。
應對模擬點選防控的難點,終端具備如下的優點:
- 針對鏈路:
- 分布式計算:每個裝置可以計算自己的風險,沒有雲端大批次即時計算的壓力;
- 計算前置:裝置上可以自訂風控觸發邏輯,可以在黑產行為發生的時候就分析計算,把分析結果即時傳回給中央伺服器;
- 針對防控效果:
- 行為豐富:裝置終端擁有最詳細的使用者行為操作、環境等數據;
1.4. 全文導讀
本文針對模擬點選的黑產即時防控問題,介紹過去2年螞蟻集團在技術方面的工作,旨在介紹風險存在的原因、風險的特點、風險的技術分析以及風險的防控方法。
第一節:引入風險。介紹裝置終端上建立即時模擬點選防控能力的必要性。
第二節:了解風險。從業務場景角度和技術特點角度兩個方面,列舉、剖析主流的模擬點選技術的實作方法和效果;並對風險在防控方向上進行歸類。
第三節:防控風險。透過介紹整體防控方法,引出端上即時防控。分為鏈路能力準備、端上策略規則、端上通用模型和端雲聯合建模三個方面介紹端上防控能力。
二、模擬點選技術的前世今生
本節從業務場景角度和技術角度來闡述模擬點選技術,分別介紹目前模擬點選的用途以及實作形式。
2.1. 業務場景角度
模擬點選技術可以幫助視障或是老年群體更方便使用手機,但隨著技術的更新,模擬點選被黑灰產利用,並實踐在自動化搶紅包、自動聊天等黑灰產場景中。本章節收集了遊戲、社交、金融等行業的業務場景和支付寶使用場景的一些典型案例。
2.1.1. 遊戲外掛
遊戲外掛的常見使用場景是指令碼批次開新號、群控操作、指令碼掛機以及指令碼快速操作等。很多網頁遊戲都存在簡單重復的掛機刷怪模式,來達到積分和裝備累加的目的,這類的模擬點選工具往往帶有很強的識圖、識色功能,通常可以根據幾個像素點的顏色來判斷遊戲是否進入需要模擬點選操作的階段。
2.1.2. 自動聊天
一些交友類 APP 內有付費聊天模式,這便吸引了黑灰產透過指令碼自動聊天來謀利。如附圖所示指令碼,可自動接收和回復訊息。透過模擬點選,自動輸入文字和點選發送按鈕,配合精選的問答庫,增加自動聊天的可信度。
2.1.3. 搶紅包
自動搶紅包行為需要後台指令碼持續監控並且快速進行點選,比如在社交群聊套用中,可能會同時存在很多群,且群裏時不時有人發紅包。使用自動化指令碼就能日常監控群,並在第一時間「替你」點選搶紅包操作。
2.1.4. 風險類自動轉賬
使用模擬點選可以自動給多個指定使用者進行轉賬。由於非支付寶商家使用者不能申請支付寶的支付api,黑灰產另辟蹊徑,使用惡意軟體模擬手動操作支付寶實作轉賬功能。將需要轉賬的手機號寫入txt檔中,每行包含一個帳戶資訊和轉賬金額,使用逗號隔開,呼叫指令碼自動化執行。
2.1.5. 商品搶購類
在使用者使用支付寶時,存在許多商品/數位化藏品/消費券搶購的場景。「快」是搶購類的模擬點選操作的重要特征,比如在規定開始時間後,投放消費券,指令碼透過監控時間,快速請求操作「搶」的操作。搶購類模擬點選的使用場景非常多,除了消費券,還使用於大促類活動、積分搶購以及數位藏品類的定時搶購等。
2.1.6. 廣告流量場景惡意流量
廣告流量業務的作弊中,惡意流量十分猖獗。針對商業化廣告流量變現,媒體側和廣告主側的作弊現象嚴重,損害各方的利益,主要形式是透過指令碼或電腦程式模擬真人使用者,又或者僱用和激勵誘導使用者進行點選,生成大量無用廣告點選,獲取廣告主的CPC廣告經費。
2.2. 風險總結
2.2.1. 風險外在表現
按照暴露風險方式的不同,風險外在表現分為手勢假、協定假和點選假三種。
2.2.2. 風險防控方向歸類
從防控的角度,將上述的所有風險按照如下結構劃分。
- 裝置風險:針對手機進行的「非法」操作
- 常見的是否root等,都會在裝置上留下黑灰產痕跡;
- 行為風險:
- 離線行為:不關註單次操作的風險,而在離線統計總體行為的異常;
- 線上行為:關註黑產行為的風險;
- 低階偽裝:針對端上特征行為的「露出馬腳」的顯性異常;
- 高級偽裝:一些黑灰產「高手」在特征上沒有暴露顯性異常,需要從更加細致的角度去發現偽裝的隱性異常;
三、端上即時防控
針對上一章節中對風險的介紹和分類,本章從能力上詳細介紹如何防控,分為3個方面:
- 基礎風險能力:針對裝置風險標簽和離線的風險行為;
- 端上即時能力:
- 端上策略規則:針對「低階偽裝」的線上行為防控;
- 通用端上演算法:針對「高級偽裝」的線上行為防控;
- 端雲結合:端雲各取所長,聯合建模;
其中基礎風險能力介紹:
從技術能力沈澱的角度大致分為兩個部份:
(1)裝置標簽
裝置被攻擊之後,會留下痕跡,鮮為人知的黑產手段比如獲取root許可權。這些特征的特點重點體現在離線對裝置的刻畫上,幹了「壞事」的裝置都會有記錄。
(2)離線風險統計
黑產往往具有聚集效應,比如統計黑產行為的異常特征,這些特征會回流到中央伺服器上的即時防控系統中。
對於該能力本篇文章不再做詳細贅述,是已有的非常成熟和完善的能力,端上防控則是對成熟能力的重要補充。
3.1. 端上的能力儲備
針對模擬點選辨識,裝置終端上從能力儲備上可以分為兩個方面:(1)具備豐富的特征,為即時風險刻畫提供基礎;(2)具備完善的鏈路保障,可以根據不同的管控時效,提供不同的特征上報和下發鏈路。
3.2. 端上通用反作弊模型
3.2.1. 引入
(1)對抗的升級
隨著黑產作案技術水平的提高,存在越來越多的手法,無法被簡單地發現,做到了最高級的「偽裝」,針對模擬點選的指令碼攻擊所帶來的風險操作,除了技術手段之外,防控需要具備行為異常檢測方法。而這個檢測方法的突破點就是使用者和裝置的互動行為。
(2)效率的升級
以前的模式中,防控實作了對業務的隨插即用,快上快下,跟上了業務場景的節奏,這得益於具備很強的先驗知識,針對目前越激烈的攻防,以及場景多樣化的趨勢下,在升級能力的同時,也需要能力對場景的覆蓋,實作通用能力。
3.2.2. 建模
透過對黑產行為構建基礎特征,維護了多條細粒度數據buffer,針對黑產軟體的特點(如一次向上滑動)設計特征序列,特別地,我們將數據處理成影像的格式,透過摺積模型模型,兼顧對黑產單次操作的風險刻畫,以及多次操作之間的關聯。
3.3. 端雲一體的模式探索
通用模型除了采用端上使用者的細粒度數據,未來還可以加入更多特征,不僅僅是雲端的其他即時特征,還包括離線積累的特征,本節對端雲一體的模擬點選辨識進行了探索。
3.3.1. 端雲特征結合
下發高危使用者雲端異常特征。從行為上來說,黑灰產在離線有不符合業務邏輯的行為,高危操作的統計具有很強的風險刻畫能力。因此,可以用使用者歷史的離線聚合資訊,最大程度刻畫使用者的作弊風險。雲特征再結合裝置原生的特征,全面刻畫黑產的風險行為。
3.3.2. 綜合建模
模型網路主要包含四部份,分別是:
包括離線特征,端上即時特征,以及部份特征對應的詞表。
機器流量辨識場景的特征分布,跟推薦場景有類似之處,特征十分稀疏,特征之間的交叉很重要。因此針對最頭部的高準確率下的召回率, 采用了推薦中較為常用的交叉網路CIN和FM。
TextCNN:捕捉機器操作在行為操作上的相似性,如黑產的機器行為具備高度的統一性。
Transformer:刻畫行為序列整體特征
3.3.3. 實驗結果
(1)訓練難點:高準確率
防控對模型效能要求極高,需要具備高準確率和高召回率,但由於加入了雲端離線特征,模型十分容易過擬合,雖然AUC很高,但是頭部的效果(召回率)是淪陷性的。
解決:針對性的調參經驗:
(2)網路結構實驗
重點關註黃色區塊,在DNN網路的基礎上,依次加入CIN&FM網路以及TextCNN和Transformer網路,都帶來召回率上的提升。
四、總結
在過去的兩年中,無論是支付寶日常的行銷活動(如積分搶購),還是年中的常規大促(618、雙十一、大促秋促等)還是年末的活動(如五福活動),針對「模擬點選」的風險,端上始終提供了不可或缺的即時能力,在兼顧使用者體驗、保障業務的同時,有效打擊黑灰產。
作者:固瓊
來源:微信公眾號:阿裏雲開發者
出處:https://mp.weixin.qq.com/s/ZCBf0sYF0TismZLPYqULeQ