編輯導讀：AB測試是產品、運營同學經常用到的工具，它能夠比較不同版本用户體驗的變化，收集數據並根據數據分析結果衡量更改對業務的影響，可以確保每個更改都產生正向結果，從而消除創新和迭代風險，讓業務快速增長。在產品體驗設計工作中，AB測試也是不可或缺的一種有效手段。本文對此進行了説明，與大家分享。
- “我更傾向於A版方案，視覺風格更加統一，簡單直觀”
- “這兩個方案我感覺都可以啊，不就是文案的差異嗎”
- “我傾向於B，這一版引導清晰關鍵指標轉化肯定會高”
- “…”
設計師在日常工作中，始終面對着不斷出現的艱難選擇，兩種看似都可行的設計方案常常難以抉擇。面對這種情況，設計師和產品常常會通過測試來最終做出設計決策，而其中較為常用的測試利器就是A/B測試-先把兩種（或者多種）方案進行小流量的測試，利用測試的數據來預估全量之後的效果。
下面，我將結合最近的AB測實踐，聊聊在產品設計中A/B測試的心得體會，助力改善產品體驗。
01 A/B 測試是什麼AB測試是為Web或App界面或流程製作兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客羣組（目標人羣）隨機的訪問這些版本，收集各羣組的用户體驗數據和業務數據，最後分析、評估出最好版本，正式採用。①
02 A/B測試能解決哪些問題？- 解決分歧。消解在設計過程中各方的分歧，最終達成方案的共識。
- 明確影響的因素。通過不同因素的驗證，探尋影響產品轉化的因素。
- 助力核心數據的增長。通過A/B測試，分析評估出轉化最高的方案。
- 優化產品體驗。降低新方案帶來的不確定影響，助力產品體驗優化。
筆者通過公司內部多項AB測實踐，總結了一套通用的A/B測試流程，如下圖，希望下面的步驟，可以幫你通過A/B測試來提升產品體驗。
明確目標-設置變量-設計方案-線上測試-分析迭代
1. 明確目標在開始測試之前，我們一定要明確希望通過A/B測來達成什麼目標。這個可以是提升頁面的點擊量，可以是提升訂單轉化，也可能是提高銷售額。衡量標準通常是根據公司、產品和團隊的具體目標來制定。
以招聘業務線職位列表頁優化為例，因為線上列表頁存在已久，投遞連接轉化也相對固定，產品側希望通過豐富HR字段來探索提升職位列表投遞轉化的可能性。
通過前期各方的溝通，我們也明確了此次優化的目標為提升用户的投遞轉化率，基於這個目標，我們也拓展出多個優化方向，我們期望通過A/B測來驗證我們的方案，找出最優方案。
達成目標的方式有多種，設計師應合理轉化產品的目標，拓展多個解題方案。除了產品前期提供的豐富內容變量以外，我們也在信息內容展示形式上拓展出其他多個版本。在內容展示上，設計師也可以在信息元素大小、顏色、佈局等多個維度去探究更合理的答案。
在設置變量環節，一個重要的前提是嚴格控制變量，兩兩對比只存在一個單一變量，只有這樣我們才能判斷最終的數據變動是否由某單一變量引起。
在列表頁優化項目中，我們確定了以下兩個方向去控制變量：
- 內容層面：驗證HR信息、單條推薦理由、多條推薦理由
- 形式層面：標籤的強弱、信息的佈局
基於討論的方向，我們共輸出7版不同的方案（不包括線上版），兩兩對比控制了單一變量，從內容有無、標籤的強弱、信息的佈局等多個維度去反覆驗證。具體方案如下：
七種方案，在保證單一變量前提下，兩兩對比組合出多組不同的對照組。
通常而言，測試時間至少要達到3天，最長不宜超過14天。測試前2兩天數據可能會出現大的波動而導致測試數據出現偏差，結合筆者經驗，一般來講新方案數據趨於穩定需要經歷至少3天左右時間。
流量的路徑及切分的方式可以根據具體情況來靈活配置，就職位列表來講，基於Native的職位頁面因為開發成本以及發版的限制，顯然不適合做多版本的A/B測試，最終我們是在詳情頁推薦列表的H5頁面去做我們的A/B測驗，這樣的好處顯而易見，既規避了主路徑列表的風險，又能節省開發量快速上線。同時在流量的切分上，我們採用了1:1的切分方式，以保證樣本的平均。
5. 分析結果方案在上線之後，我們要及時的收集整理我們的測試數據，將所有方案數據和指標進行對比分析，基於結果，選出其中更優秀的方案以達成設計目標。
基於對職位列表數據分析，在職位列表場景下，我們也看到一些結論：
- 職位HR信息的露出對用户的決策起到了正向的作用。
- 帶有單條推薦理由的帖子用户的投遞率更高。
- 左對齊佈局樣式比左右對齊佈局轉化率要高。（職位列表場景下）
- 淺色標籤相對於重色標籤轉化略高。（職位列表場景下）
- 展露職位hr信息+單條推薦理由+左側佈局頭投遞率最高。
經過多方案的對比，我們最終確定了最優方案，經過驗證的職位列表推全到了大類頁，同樣帶來了不錯的數據轉化。
04 A/B測試的侷限性A/B測試的方法適用於諸多類型的設計問題，但它並不是完美的，有其自身的侷限性。
首先A/B測試只呈現出了結果，而不會為你揭示出現結果的原因。你可以通過AB測試驗證哪些元素會影響你的設計結果，但卻無法通過A/B測得知這些不同元素有不同結果的原因，A/B測也無法反饋有關用户行為的具體細節，並不能幫助你作更多、更長遠的決定。②
A/B測更多的是解決當下哪個方案“更優“而不是“最優”的問題，這就需要我們根據更多的數據分析，結合更多的重複試驗來最終推導出原因。
05 結語誠然，A/B測可以快速驗證出當前階段更優的設計方案，從而降低新方案帶來的不確定性。但是，我們應同時看到A/B測的侷限性，A/B測試結果不應該作為評判設計作品好壞的標準。A/B測更大的價值在於通過測試結果來發掘問題，改進我們的設計方案進而提升產品體驗。
參考文獻：- 百度百科-AB測試
- Tubik Studio-想驗證你的設計？最簡單最實用的A/B測試幫你搞定 @陳子木
作者：王書偉，視覺設計師
作者：王書偉，視覺設計師本文來源於人人都是產品經理合作媒體@58用户體驗設計中心（微信公眾號@58UXD），作者@王書偉
題圖來自pexels，基於CC0協議