智能客服機器人的衡量指標體系

智能客服機器人慢慢成為了很多企業售後環節的標配產品，同時市面上智能客服供應商也如雨後春筍般湧現，大家都宣稱自己的機器人多麼智能。但很多時候，上線後要讓機器人發揮作用，不是“多麼智能”幾個字就能達到目標。裏面需要團隊中的產品、運營、算法等人一起努力。當然，很多團隊由於沒有經驗，這個過程會像丈二的和尚摸不着頭腦，需要進行多次摸索才能知道該如何優化。

所以，今天要討論的，就是如何系統化去衡量機器人的效果，從而幫助團隊針對性高效優化機器人。

説明：本次討論的範圍限於售後服務的文本機器人。

一、數據指標1. 北極星指標

説到衡量效果，就需要提到數據指標。

每款產品都有很多數據指標，而我們要找的應該是最核心的指標，即業界説的【北極星指標】。這個指標一定是最能體現業務目標的。

比如閒聊機器人是為了陪伴用户度過每個無聊的日子，北極星指標應該是活躍度和留存率；營銷機器人是為了讓用户下單，北極星指標應該是營銷轉化率。同樣的客服機器人是為了解決用户疑惑，不用轉人工從而降低成本，所以北極星指標應該是【獨立接待率】，與其相反的就是【轉人工率】。維護客服機器人，其實就是不斷提高獨立接待率，降低轉人工率。

找到這個核心指標不是完事，畢竟這個指標可能連我不怎麼用網絡的舅舅都知道。這只是一個開始，接下來還得知道哪些因素會影響該指標，才能從這些方向針對性地優化機器人。

2. 客服業務流

要想降低轉人工率，也就是機器人能幫客户解決更多問題，那就要求機器人能像人工客服一樣，甚至做得比人工客服更好，才能讓客户認可。我們回想下，客服在解答用户問題時，都做了哪些事？

小七總結了一下，客服的核心業務流分為三部分：

1. 瞭解用户的問題：知道用户問的是什麼問題，如果用户表達不清楚，還需要跟用户確認
2. 瞭解問題的解法：知道該問題如何解決，考驗客服對業務的熟悉程度
3. 解答用户的問題：利用用户聽得懂的表達來解答用户問題，且需要適時安撫

3. 機器人業務目標

瞭解了客服的核心業務流之後，我們需要讓機器人也能完成這個流程，從而讓客户願意接受機器人的答案，降低轉人工率。對於機器人來説，要滿足核心業務要求，需要其達到對應的能力。那具體對應是哪些能力，這裏我根據以往的經驗，做了一層映射。

1. 瞭解用户的問題：準確知道用户問題的意圖，若意圖缺失，還需要與用户確認
2. 瞭解問題的解法：知道大部分業務問題的答案，能夠在識別到用户意圖之後給出解法
3. 解答用户的問題：回覆話術需要讓用户聽得懂，聽得舒服，保持人性化

根據以上內容，我總結了降低機器人轉人工率的三個方向以及對應指標，接下來我們就一個個方向進行細化。

二、細化1. 識別得多不多

識別得多不多，也就是機器人能不能理解用户更多意圖，並給出相應回覆。這裏就要求機器人知識庫能夠覆蓋更多業務問題，當業務覆蓋率越高，機器人就能識別更多意圖，解答更多業務問題。

業務問題可以通過聚類歷史數據篩選出來，那如何從更細化的指標體現業務覆蓋率呢？

一般來説，知識庫覆蓋的業務問題越多，機器人不知道的問題就越少，也就是無法識別的比例越低；對應能夠識別且回覆的問題越多，也就是直接回複比例越高。在這兩者之間，還有一類間接回答的場景，也就是機器人大概知道但又不大確定的問題，就會推薦幾個類似問題讓用户確認。

總的來説，要衡量機器人識別得多不多，可以通過機器人回覆類型來判斷，目標就是：機器人回覆的所有消息中，直接回答比例不斷提升，間接回復和無法識別的比例不斷降低。

2. 識別得準不準

我們想觀察機器人識別得準不準，實際上就是在分析機器人自信認為理解了用户的意圖，而事實上到底對不對。

機器人自信認為對的問題，也就是我們前面説的直接回答場景，也就是機器人直推且正確的消息數與機器人直推的消息數比例，可以歸納為【直推準確率】。當然，判斷機器人直接回復準不準確，需要機器人訓練師做人工質檢，才能得到確切的數據。

另一方面，我們也可以考核機器人給出所有反饋的準確率，包括了直接回答和間接回答。雖然間接回答是機器人不大自信，沒有給出直接答案，從而給出了推薦問題；但如果推薦問題都是錯的，那就沒有任何意義，甚至大大降低了用户體驗，所以還是需要保證其準確性。

因此我們可以歸納為【綜合準確率】，公式可以總結為：（機器人直推且正確的消息數+機器人間接回答且正確的消息數）/機器人直接+間接回答的總消息數。

當然，或許有人會有疑惑，機器人間接回答到底正不正確很難衡量，甚至人為質檢都存在很大不確定性。確實，這個指標比較模糊，但我們可以從用户反饋動作來觀察，也就是看機器人間接推薦了問題且用户採納問題去查詢答案的場景，我們就理解為機器人間接回答是正確的。從這個定義出發的話，我們也不需要進行人工質檢，由系統根據用户反饋來進行統計。

3. 回答得好不好

業務覆蓋也做了，準確性也保障了，最後就是要給出答案。衡量機器人回答得好不好，很大程度上跟AI能力無關，而是運營效果的衡量。運營人員給每條知識庫問題配了答案之後，這個答案需要能夠解決用户問題，安撫用户情緒，從而讓用户不轉人工。所以要看回答得好不好，一方面我們需要細化到每個FAQ的效果來看，另一方面這是一個非常主觀的問題，所以我們需要將主觀變為客觀，也就是看針對每個答案，用户的反饋。

用户對機器人的反饋一般有兩種，一種是轉不轉人工，另一種就是評價，對應的指標就是【答案解決率】和【答案的滿意度】

答案解決率就是機器人給出了答案後，用户是否轉人工，若是轉人工了，説明答案無法解決用户問題，如果沒有轉人工，一定程度上可以理解為解答了用户問題。所以運營可以通過這個指標，篩選出答案轉人工率最高的問題，進行針對性優化，提升答案解決率。

答案滿意度是通過用户對機器人答案的點贊或者點踩來進行分析，我們可以分為整體點贊/點踩率和單個答案的點贊/點踩率，從整體和局部去分析機器人回答的好壞。例如某個答案的點踩率特別高，我們就需要進行策略調整，是不是換個回覆內容，甚至犧牲轉人工率，讓其進入人工，從而保證用户體驗。

三、總結

好了，有了以上細化的衡量方向，我們就可以清晰地看出影響智能客服北極星指標的因素有哪些，總結如下圖；同時我們通過具體數據，也能鞏固知道應該往哪些方向去優化。

比如直接推薦比例很低，那就需要訓練師覆蓋更多的業務業務場景；直推準確率很低，就需要訓練師增加相似問法，算法工程師調優模型；答案點踩率很高，就需要運營優化答案及回覆策略。

作者：七俠 微信號：steseven 公眾號：老七嘮嗑產品 歡迎交流！

本文由 @steseven 原創發佈於人人都是產品經理，未經作者許可，禁止轉載。

題圖來自Unsplash，基於CC0協議。