編輯導語：AB Test是一個很好的導航系統和説理工具，策略分析師在各個場景使用這種分析方法，可以形成一個完整的閉環；本文作者分享了關於AB Test如何應用於風控場景，我們一起來看一下。
下圖為策略分析師工作流程的自檢清單，相信很多人都看過了，本篇文章針對其中的AB test 環節詳細闡述。
什麼是AB Test？
1）我們先通過一張圖來了解系統的概念，做一做鋪墊：
如上圖，系統，就是將多個輸入轉化成輸出的中間過程（圖中的輸入，也稱為變量）。ps：有數學背景的同學，可以把系統理解成一個多元函數y=f(x1,x2,x3)。
2）然後基於系統圖導出控制變量法
如上圖所示，由於影響系統輸出的輸入變量有多個，如果我們需要考察其中某一個輸入變量（比如輸入1）對系統輸出的影響時；我們需要在保持輸入2和輸入3不變的前提下，改變輸入1，然後觀察輸出的變化，從而確定輸入1對輸出的影響；這就是控制變量法，核心是控制其他變量不變，排除其交叉影響，單獨觀察某一個變量對結果的影響。
3）再基於控制變量法引出對照組的概念
當我們保持輸入2和輸入3不變，單獨改變輸入1時，我們需要在樣本中確定有多大比例的樣本（不）需要改變輸入1，由此按比例隨機抽樣、從而形成兩個相互對比的樣本（改變輸入1的一般稱為實驗組，不改變輸入1的稱為對照組）。
如果我們設定，對照組和實驗組各佔50%，則形成如下的兩組樣本：
從上表的例子我們可以看到，變量1增長50%時，輸出變量增長60%，因為這是排除了變量2和變量3的影響之後的數據，可以無可辯駁地説明變量1對輸出變量的影響（方向及強度）。
4）最後回到我們的核心概念AB Test
AB test就是通過隨機抽樣設置對照組和實驗組，A是對照組，B是實驗組，AB兩組佔比由實際場景決定（任意一組的佔比一般不能太低，要滿足統計學意義），加起來是100%。
由於是隨機抽樣，AB兩組一開始是完全相同的樣本；然後，改變一個變量，使得B相對A來説只有一個變量不同，從而可以將該變量單獨拎出來、觀察它對輸出結果的影響：
具體到業務場景中，A和B又分別指什麼呢？舉個例子：
AB可以是不同的風險策略（比如策略A是多頭>5，策略B是多頭>7），可以是不同的產品版本（如產品A需要輸入驗證碼，產品B不需要輸出驗證碼）……等等，一切你需要做對比、然後做出選擇的兩個方案。
PS：
- 對照組方法，是科學研究中用途極廣的方法，有着堅實的統計學理論支撐；
- 產品部門經常用到對照組方法，產品部一般稱為AB Test，這種叫法比較通用，為方便交流，本文采用此種叫法；
- 風控部門也經常用到對照組方法，一般稱為“冠軍挑戰者”。
以下我們針對常用的幾個場景，給出基於AB test的解決方案，給大家展示AB test在風控中的典型應用場景、應用方式及其效果，希望大家能夠舉一反三，在自己的工作中能用上。
AB test方法應用靈活、基於實際場景千變萬化，也有一些需要避免的問題，整個AB test機制包括需求分析、機制設計、數據分析、策略調整等，是一個完整的閉環。
場景一：無法確定策略調整的效果，找不到策略調整的方向
問題剖析：評估策略效果的指標大家都很明確，而無法明確效果，究其原因，是因為影響風控指標的輸入變量有多個，包括客羣質量、時間、風險策略等；而策略只是其中的一個變量，調整策略變量的同時，其他變量可能同時發生改變，因此無法確切評估策略的調整對風控指標的影響。
解決方案：假定我現在的策略是A，我想調整策略，沒有AB test可能直接改了，引入AB測試之後，我設定A組比例為70%，B組比例為30%，隨機70%的客户走原來的A策略，隨機30%的客户走新策略（假設叫B策略），測試周期為兩週（核心是要達到觀測樣本量）：
Ps：測試完畢之後可以停止測試，全部客户都切回A策略或切到下一個B策略（視情況而定）。
到表現期出來之後，經過數據分析：
結果若如圖1，整體逾期率均呈上升趨勢，説明客羣變差；但B策略在客羣變差的環境下其同期逾期率增長低於A策略，説明B線策略較A策略好，調整有效，可以考慮將B策略轉正，作為新的冠軍策略；
結果若如圖2，整體逾期率均呈下降趨勢，説明客羣變好；B策略在客羣變好的環境下其同期逾期率下降低於A策略，説明B策略較A策略要差，調整失敗。
（以上兩個例子證明，要明確整體的變化方向，才能確定策略調整的效果。）
至於策略的調整方向，AB兩套策略的差異點你是完全知道的，這個差異是造成最終逾期率不同的唯一原因，找到其中大頭的差異點，就是本次調整的方向。
比如，假設在圖2的場景下，發現A策略是多頭>5拒絕，B策略是多頭>8拒絕，這是兩套策略的差異點，這個差異點造成了逾期率的不同，於是可以收緊B策略的多頭規則閾值。
場景二：已經明確要調整的具體規則，目前有多個方案，無法確認哪個方案最優
問題剖析：已經知道要收緊的具體的規則了，但是有多種收緊方案，在策略流程上，是前緊，還是前松後緊，着實讓人無法抉擇；因為在風險策略人員的視野裏，不僅僅只有通過率、逾期指標；還有徵信成本、數據信息量等其它緯度的考量因素。
解決方案：直接對確定調整的規則進行A/B Test 即可。
總結一下，策略的AB test機制，是一個很好的導航系統和説理工具，作為導航系統，它讓策略人員在調整策略的時候，知道自己的方向，因此明明白白；作為説理工具，它讓策略人員在展示自身工作對全局影響的時候，聽眾心服口服。
本文由 @FAL金科應用研院 原創發佈於人人都是產品經理，未經許可，禁止轉載。
題圖來自 unsplash，基於 CC0 協議