編輯導讀：像搜索推薦這種策略性產品，離線評估是一項必須要做的事情。通過離線評估的方法，發現當前策略中存在的問題點，對於優先級比較高的問題以需求和項目的方式推薦，這是策略產品經理主要工作之一。本文作者推薦了幾種系統場景的離線評估指標，與你分享。
像搜索推薦這種策略性產品，離線評估是一項必須要做的事情。通過離線評估的方法，發現當前策略中存在的問題點，對於優先級比較高的問題以需求和項目的方式推薦，這是策略產品經理主要工作之一。
今天主要聊聊對於推薦系統的常見離線評估指標。
在之前的文章當中，我不止一次提到過策略是業務的策略，撇開業務談策略都是耍流氓，因此對於推薦策略的評估也需要區分不同的業務場景。
01 內容類場景內容是一種比較常見的推薦結果形式，我們常説的內容不僅僅是指文字，還包括像音頻，短視頻，直播等新型的內容形態。
除了像今日頭條，抖音，騰訊新聞這類應用存在大量的內容推薦策略，其實諸如淘寶，京東等電商業務也有很多的內容個性化應用。最新改版的淘寶，首頁推薦feed流裏面就包含了大量的內容推薦結果，而且還把“逛逛”內容社區搬到了第二個TAB上。無一例外，這些內容的背後都是無數個性化內容推薦策略運作的結果。
一般我們在評估類似這種內容場景下的推薦策略的時候，相比轉化，我們更注重用户對內容信息的消費效率。因此對於這類型場景下的推薦效果我們更應該採用信息維度的指標去進行評估。通常包括如下幾個：
- 點擊數：內容被點擊的人數和次數
- CTR：內容的曝光點擊率
- 停留時長：用户在內容feed，內容詳情頁的停留時長
- 閲讀深度：用户對內容的瀏覽層級，通常通過單次瀏覽頁面的個數來衡量
上面這些指標通常是對內容類推薦場景下的策略效果進行離線評估使用的指標。
02 交易類場景交易類場景則比較好理解，典型的比如淘寶，京東首頁的猜你喜歡，為你推薦中的商品feed。因為推薦的結果就是商品，所以此時推薦系統的目標就是讓用户在該商品上進行下單，轉化。
很明顯的一個流程就是：商品推薦位-商品列表頁/詳情頁-購物車-提交訂單頁-支付完成頁。
相比內容類場景下，推薦系統注重對內容信息的消費效率，在交易類場景下，推薦系統則更關注用户在此場景下產生的訂單量，訂單金額。
所以對這類場景下推薦策略效果進行離線評估時，常用的指標有：
- 訂單量：由對應推薦位帶來的訂單量
- 訂單金額：由對應推薦位帶來的訂單金額
- CVR：訂單轉化率
- 支付率：從提單到支付的完成率
- 加車率：從商品詳情頁到購物車的轉化率
交易類場景上面五個是比較通用的。
03 體驗類場景最後一個則無論是在內容信息，還是在交易成交類場景下都需要關注的：體驗類場景。
相比上面的兩大場景，我們可以用客觀的數據來進行衡量，體驗類場景則略帶主觀。
因此在進行綜合評估之前，通常需要認為制定一套團隊公認的評估標準，以指導體驗場景下對推薦策略好壞的評估。
雖然需要人為制定評估標準去規範整個評估的流程，但並不是説體驗類場景沒有對應的評估指標。下面幾個是常見的幾個指標：
- 主動負反饋率：用户主動反饋不感興趣的比率
- 品類多樣性：衡量推薦結果的豐富度
- 用户滿意度：通過case評測的方法來綜合評定策略的滿意度
以上三類就是對推薦策略常見的三種離線評估指標，還是那句話撇開業務談策略是耍流氓，同樣對於不同場景下的推薦結果的評估也需要制定不同的評估標準和指標。
#專欄作家#夏唬人，微信公眾號：夏唬人，人人都是產品經理專欄作家，2019年年度作者。《策略產品經理：數據賦能業務》作者。某廠策略產品經理，關注推薦、搜索、AI策略方向。
本文原創發佈於人人都是產品經理，未經許可，禁止轉載。
題圖來自 Unsplash，基於 CC0 協議。