支援抖音、今日頭條等產品增長迭代的A/B測試工具，如今被位元組跳動投入企業級市場。
在4月20日召開的火山引擎技術開放日活動中，位元組跳動副總裁、演算法和資料技術負責人楊震原首次揭秘了位元組跳動如何使用A/B測試。火山引擎是位元組跳動旗下為企業服務的智慧科技品牌，位元組跳動的A/B測試工具也已透過火山引擎開放給企業客戶。
A/B測試是指對不同策略進行對比實驗，根據結果選擇最優方案。A/B測試不是網際網路公司發明的，而是最早應用在醫學領域。十八世紀，一位英國醫生把患有壞血病的水手隨機分成六組，用不同方法進行治療，從而確定了檸檬和橘子能有效治療壞血病，這是人類有記載最早的A/B測試。在網際網路時代，A/B測試被谷歌等巨頭廣泛使用在產品開發和運營中，有研究者也把A/B測試視為位元組跳動快速增長的重要因素。
據楊震原介紹，公司成立之初，今日頭條就在做策略推薦類的A/B測試。2016年，位元組跳動建立了支援大規模產品實驗的A/B測試平臺，之後陸續接入抖音、西瓜影片等全線業務，把A/B測試應用在產品命名、互動設計、推薦演算法、使用者增長、廣告最佳化和市場活動等方方面面的決策上。
最新資料顯示，位元組跳動每天同時進行的A/B測試達到上萬場，單日新增實驗數量超過1500個，覆蓋400多個大大小小的業務。隨著公司發展，這些數字還在不斷擴大。截至今年3月底，位元組跳動累計已經做了70多萬次A/B測試。
位元組跳動副總裁楊震原
楊震原表示，位元組跳動積累的技術能力和增長方法，會透過火山引擎提供給企業客戶。火山引擎產品體系包括基礎服務、技術中臺、智慧應用和行業解決方案，位元組跳動的影片編輯、特效、文字識別、影象識別、個性化推薦等技術能力，都已在火山引擎上為企業服務，A/B測試也是其中一款重要的資料產品，能夠幫助企業提高決策質量，促進業務增長。
據相關產品負責人介紹，火山引擎A/B測試支援客戶端、服務端、推送、網頁、視覺化建站等多種實驗形式，具有功能全面、高度自動化的特點，操作非常簡單，即使不會程式設計的人也能輕鬆做實驗，而且有內容豐富的實驗報表，可智慧產出實驗結論，讓決策鏈清晰完備。
火山引擎A/B測試的使用效果得到了客戶認可。以悟空租車為例，該公司已透過火山引擎進行了70多次A/B測試，約有60%為正向實驗，提升產品轉換率約40%，以往需要一週時間的需求覆盤資料分析，現在只要一天就能得到資料結論，更直觀地量化了需求價值，極大地提升了效率。
在積極為火山引擎“帶貨”的同時，楊震原表示A/B測試並不是萬能的，它也有很多侷限性，比如提高商品推薦門檻、不推薦評分低的商品，如果做A/B測試，短期內交易量肯定會降低，但長期來看結論有可能逐漸反轉，這是長週期影響和目標設定的問題。此外，獨立的實驗條件、統計置信度等問題都是做A/B測試需要考慮的。
楊震原說，企業應充分意識到A/B測試的優勢和缺陷，對目標選擇適合的評估方法。比如戰略型決策，需要專家角色進行長期的思考；很多細節的決策，如果能做A/B測試，要儘量做A/B測試，並且要關注到量化分析的執行能力，真正做到資料驅動科學決策。