編輯導讀：增長是懸在每個企業頭上的達摩克利斯之劍，對它又愛又恨。在這個獲客越來越難的時代，如何提高用户的增長率及轉化率，是每個企業都需要思考的問題。本文作者以一個增長實驗為例，對此作出了一些分析，希望對你有幫助。
開展增長實驗的步驟一般分為：產生實驗想法、排序實驗想法、設計實驗、開發實驗、分析實驗結果、產出增長報告。下面我們分別介紹。
一、產生實驗想法1. 明確實驗的目標我們開展增長實驗一定是基於我們發現了什麼問題。
是某個按鈕轉化率過低？還是某個功能留存率過低？找到問題，我們才能知道優化的方向。比如我們發現註冊功能轉化率僅為30%，那麼我們可以制定我們的實驗目標為：把註冊功能轉化率從30%提高到50%。下面我們都以註冊功能轉化率低的案例舉例。
2. 找到問題產生的原因為了達成實驗目標，我們要去發現問題產生的原因。
我們可以通過定性和定量兩種方式來尋找問題產生的原因。
在定性方面，我們可以通過用户調研、用户可用性研究等方式來了解為什麼註冊功能轉化率這麼低。
在定量方面，我們可以通過數據來洞察。比如，通過漏斗模型是否可以查看用户在哪裏流失率最高；通過用户分羣，是否可以瞭解哪些用户註冊轉化率高、哪類用户註冊轉化率低等等。
3. 根據原因尋找解決方案知道問題產生的原因，尋找解決方案就容易了。
我們可以通過定性、定量以及最佳實踐的方式來尋找解決方案。
定性、定量就不介紹啦，和“找到問題產生的原因”裏面的大同小異。
這裏聊聊最佳實踐。所謂最佳實踐就是那些公認為可能會提高轉化率的方法。比如B=MAT模型、Lift模型。
在B=MAT模型中，想要提高用户的轉化率這一行為（behavior），我們要給予用户足夠的動機（motivation）、降低用户阻力並且提高能力（ability）、在適當情景下給予觸發提醒（trigger）。
Lift模型主要分為價值主張、相關性、清晰度、焦慮感、注意力分散、緊迫性。
- 價值主張。要有明確有力的營銷口號，用户可以精準地感知到自己能夠獲得什麼好處。
- 相關性。落地頁、轉化頁符合用户預期、與你的價值主張緊密相連。
- 清晰度。體驗流程流暢，用户清晰知道下一步怎麼操作。
- 焦慮感。做減法，不要給用户過多的選擇；不做不符合用户預期、習慣的事情。
- 注意力分散。減少視覺感染，信息噪音。
- 緊迫性。營造飢餓感使用户快速決策，善於利用稟賦效應、損失厭惡心理。
在這裏我們利用以上的方式，假設針對“註冊功能轉化率低”得出的解決方案如下：
- 縮短頁面不必要的註冊流程，比如在註冊時不需要用户填寫郵箱等個人信息。只要輸入手機號以及驗證碼即可登錄註冊。
- 突出註冊按鈕。
最後我們要根據前幾步形成我們的實驗假設。在這裏給小夥伴分享一個實驗假設的模板。
“如果[做了某個具體的改動]，預計[某指標]可以提升[X%]，因為[深層的原因，有數據支持]”
根據上文，我們的實驗假設即可如下：
- 如果[在用户註冊時去掉輸入郵箱等個人信息]，預計[註冊轉化率]可以提升[30%]，因為[通過漏斗分析，用户在輸入郵箱等個人信息時近一半流失掉了]。
- 如果[把註冊按鈕變為原來的1.3倍]，預計[註冊轉化率]可以提升[10%]，因為[突顯了核心流程]。
利用ICE可為我們的實驗想法進行排序。ICE分為預期影響（Impact）、成功概率（Confidence）、容易程度（Ease）。
- 預期影響指此實驗大概會影響多少用户；實驗如果成功了，預計指標能夠提升多少。
- 成功概率指的是有哪些數據或者證據來認為這個實驗會成功。
- 容易程度指的是我們需要投入多少人力、物力等資源才能完成這個實驗。
為三類指標分別賦予0-10的分值。最後的綜合得分=預期影響的分數+成功概率的分數+容易程度的分數。
三、設計實驗1. 選擇的實驗的指標這裏我們需要關注三類指標：核心指標、輔助指標、反向指標。
- 核心指標是決定實驗的關鍵指標，也是最直接的指標。優化註冊轉化率這個實驗我們需要關注的就是註冊的轉化率是否提高/降低了。
- 輔助指標是指實驗可能間接影響的指標。比如優化註冊轉化率對日活、激活率有何影響。
- 反向指標指的是指衡量實驗產生負面影響的指標。比如頁面退出率、訂單取消率、應用卸載率等等。優化註冊轉化率這個實驗不涉及反向指標。
我們此次增長實驗是針對哪類人？我們可以根據操作系統、瀏覽器類型、地區、來源的渠道等方式進行分組。比如針對註冊轉化率的增長實驗，我們的受眾就是通過百度搜索來的新安卓用户。
我們在做A/B測試的時候要有實驗組和對照組。這裏我們設一個前提，都是通過百度搜索新來的安卓用户。
假設我們這裏開展“新用户註冊時去掉郵箱等個人信息”的實驗。
- 實驗組：使用修改後的版本的用户。
- 對照組：使用修改前的版本的用户。
這樣做的好處是，避免了其它變量對實驗的影響。
3. 預估試驗樣本量明確受眾後，我們還要知道需要多少的樣本量才能證明我們的實驗成立。
這裏我們需要引入“統計顯著性”的概念。統計顯著性的含義是指兩個羣體的態度之間的任何差異是由於系統因素而不是偶然因素的影響。假如我們利用A/B測試做這個實驗，發現轉化率有差別，當統計顯著性為95%，則説明有95%的可能性轉化率的差別是真實存在的，有5%的可能性差別是由於誤差引起的。
一般建議統計顯著性為95%以上。
假設我們之前版本的註冊轉化率為20%，新版本的註冊轉化率為25%，統計顯著性為95%時，我們則需要每個版本分配至少670個樣本量。
假如我們想讓統計顯著性提高到99%，則至少需要700個樣本量。
小夥伴如果需要此工具，只需在我的公眾號回覆“增長工具”即可獲得。
4. 預估實驗時長知道了樣本量，接下來我們要預估實驗要持續多久。對於某些實驗可能很短的時間就能看出這個實驗的真正結果，但對於某些實驗可能需要更多的時間才能得到真正的結果。
這裏我們用一個公示：
實驗所需時間=所需總樣本數量/頁面每天訪問數
假設針對“註冊時去掉郵箱等個人信息”的實驗，我們需要的樣本量為1400（新舊版本分別700個樣本量），每天註冊頁面訪問人數為140。則實驗時長=1400/140=10天。
四、開發實驗首先我們要對數據進行埋點。
如果你是使用第三方的A/B測試工具，我們要確定實驗的指標（前面已經敍述過）、找到此指標對應的用户行為，然後把我們的埋點需求寫出來即可。數據會自動返回到A/B測試軟件，A/B測試軟件會自動計算實驗的指標。
如果你是手動分析實驗，也需要確認實驗的指標、然後確立用户的行為。技術開發完埋點後，數據會返回到數據庫，這時我們導出數據進行分析即可。
其次一定要對埋點進行測試。確保我們的數據是可靠的。
最後我們開發上線A/B測試版本即可。
五、分析實驗結果1. 評估結果的可信度我們可以把每個版本的訪問數、轉化人數輸入進工具裏，工具會幫我們計算統計顯著性。如果有顯著的統計學差異，證明我們的實驗結果是可靠的。
假設我們的對照組的訪問數是1000，轉化數是60；實驗組的訪問數是1000，轉化數是150。當我們把這些信息輸入到工具後，得出此實驗是具備顯著性差異的，説明此實驗的結果是可信的。
2. 關注三類指標我們要關注之前提到的核心指標、輔助指標以及反向指標。
- 核心指標：實驗組的核心指標是否比對照組有所提升？
- 輔助指標：輔助指標的變化是否符合我們的預期，是否和核心指標趨勢一致？
- 反向指標：是否沒有明顯的負面影響，我們是否可以接受反向指標的變化？
- 如果實驗組與對照組的指標相比大幅度提升，則實驗組勝利。
- 如果實驗組與對照組的指標相比小幅度提升，則實驗組勝利。
- 如果實驗組與對照組的指標相比下降，則對照組勝利。改動後指標不升反而下降這時我們需要去尋找原因，可以通過細分漏斗、用户分羣等方式去排查原因。
- 如果實驗組與對照組的指標相比變化不明顯，則説明對照組勝利。指標沒變化，我們也就沒有優化的必要了。保持現狀就好。
- 此實驗的假設取得成功。如果取得成功，我們可以思考是否可以針對這個點進行更多其他的實驗？此實驗的思路能否應用到其它實驗上？
- 此實驗假設輕微成功。如果指標只變動了一點點，我們可以進行迭代，直到達到我們滿意的程度。
- 此實驗假設失敗。如果沒有達到我們的預期，我們這時要進行反思覆盤，我們從這次增長實驗中學到了什麼？並且清理好代碼。
根據上面的實驗我們最終可以產出增長報告。增長報告主要記錄實驗的目標、實驗的假設、實驗的分值、實驗的指標、實驗的受眾、實驗的設計、實驗結果、實驗洞察以及後續計劃等內容。這對我們沉澱增長知識、覆盤回顧有極大的幫助。
這一期的內容暫時這，後續會繼續更新關於增長的內容，也希望和大家多多交流。
作者：付曉虎（小老虎），一名99年創業者對增長的思考，公眾號：小老虎Speak
本文由 @小老虎 原創發佈於人人都是產品經理，未經作者許可，禁止轉載。
題圖來自Unsplash，基於CC0協議。