編輯導讀：對於一些設計師來說，體驗度量方法已經不是一個新鮮的概念，但是真正運用到工作中還是存在很多問題。本文作者基於自身工作經驗，從一個新的角度介紹普適的體驗度量方法，與你分享。
關於體驗度量方法行業內案例已有一些，但普遍為較為全域性，實施與結果輸出成本相對較高，對一些小團隊可能運用起來比較困難。
本文結合過往專案實際經驗，從一個新的角度介紹，相對敏捷且普遍適用的小團隊體驗度量方法，較為完整地還原了從構建，實施，驗證，最終成型的過程思考。體驗度量好像近些年來正在成為行業內的一種新的趨勢，希望這篇文章能對大家在體驗度量方面的工作有所啟發。
Ps: 文章少部分內容對設計圈內成熟的體驗度量經驗分享有所借鑑與參考，在此表示衷心的感謝。
隨著體驗設計行業和相關職業逐漸走向深耕，價值一詞被越來越多地提及。我們進行這次體驗設計度量實踐的原動力，某種意義上講，也是源於我們對於體驗設計價值的新的理解或者說一次新的嘗試。
長文預警，本文主要包含以下內容：
- 體驗設計價值理解
- 什麼是體驗度量
- 為什麼要做體驗度量及其重要性
- 如何進行體驗度量
- 全文要點總結
這些年體驗設計價值越來越多的被提起及受到重視，但是大部分設計師或者從業者，普遍還是說不清楚感受不到，弄不明白體驗設計的價值到底是什麼？
我個人目前的理解是：使用者體驗設計與業務價值的強關聯，是其真正的價值體現。使用者體驗不是主觀的藝術，它有一套科學的、可度量的設計方法和策略。
體驗設計的價值是更好的實現產品價值、使用者價值、商業價值、社會價值的交付。也是基於這種理解以及對價值的追求，驅使我們進行了公司內資訊流專案的體驗度量工作。
02 什麼是體驗度量目前行業內好像還沒有特別明確的體驗度量的定義，在《使用者體驗度量》一書中，作者：Tom Tullis & Bill Albert 大概給出瞭如下定義：
“度量”是一種測量或評價特定現象或事物的方法（需建立在一套可靠的測量體系之上）。
“使用者體驗度量”是建立在一套可靠的測量體系上: 使用同一類的測量手段對事物進行測量時，得到的結果是可以相互比較的，所有使用者體驗度量都是可觀測、可量化並以數字的形式表示出來的。
這個定義我個人覺得不是特別直觀易理解，我們可以提煉一下其中的關鍵詞：可靠的測量體系 ，可觀測的量化表達。基於這些關鍵詞，我嘗試給使用者體驗度量一個更直觀且易於理解的定義：
- 使用者體驗度量是： 透過一套可靠的測量體系 ，量化使用者體驗的過程
- 是讓使用者體驗從“抽象”到“具象”的過程
- 是使使用者體驗從“玄學”到“科學”的重要基礎
- 是更好的實現體驗設計價值及體驗設計體系化的關鍵路徑
我想每個設計師職業生涯中普遍都會面臨一些趨於一致的“靈魂拷問&質疑&難以回答的問題”：
- 你們對產品指標有什麼貢獻？
- 我覺得這個最佳化沒有競品的好？
- 你怎麼證明你做的更好？
- 你做了這麼多對產品有多大影響？
- 我覺得你做這些沒有意義
- 你們只關心美不美，浪費資源
- 我們看著可不如就競品好
為什麼會面臨這些“拷問&質疑&難以回答的問題”？
這個問題曾經其實也困擾了我很久，後來隨著工作時間漸長，自己更多的思考結合與業界各種大神之間靈魂的交流，可以嘗試解答一下這個問題。
原因主要有兩點：
大部分人其實並不知道使用者體驗具體是什麼，因為體驗是一種很主觀的東西，看不見也摸不著，但又確實能感受到它的存在，“一萬個人心中有一萬個阿姆雷特”。
使用者體驗這個命題非常大，設計範疇十分廣闊沒辦法單純地以“好用”和“不好用”作為簡單直接的衡量標準。
所以，當沒有絕對權威及清晰且合適的標準的時候，結果往往就是：別人用自己的“感覺”質疑你的“感覺”，你也會用自己的感覺質疑同行水準。
比如，很多設計師可能沒有辦法理解，某公司一個簡單的品牌升級，需要花費幾百萬的設計費用，在我們看來，這個logo我一天能畫10個。多半是因為我們自己很多時候也看不到設計背後的完整鏈路和其帶來的長遠價值。
那使用者體驗真的是一種“玄學”嗎？
這個答案一定是否定的，不然那些被設計師瘋狂喜愛的、偉大的公司也不可能成功。如：喬布斯構建起來的商業帝國，目前已經是全球最有價值的公司。
使用者體驗其實是有一套科學的、可度量的設計方法和策略的。設計師的問題在於，如何真正在工作中運用“使用者體驗”的思維，在產品中完成落地，在商業中獲得價值和利益。
設計師不單單是體驗微觀的設計者，更是體驗宏觀的管理者。設計師本質上也可以理解為是在不斷追求更好的構建與管理使用者體驗。
基於以上認識回到本節問題，我們做體驗度量的原因：
現代管理學之父：Peter F. Drucker 有一句名言：If you can’t measure it，you can’t manage it（如果你不能很好地度量它，也就無法有效地管理它）
國內設計圈也有一些普遍共識：
- 如果不能獲得使用者可量化的反饋結果，就很難談有改進迭代的效率
- 如果體驗設計不能很好的被證明，就很難談設計存在的價值
- 如果體驗設計價值不能很好的被體現，就很難規避“某些”質疑
所以這就是我們需要進行體驗度量的原因：為了更好的設計，為了更多的價值。
因為體驗度量可以幫助設計師獲得：
- 直觀的體驗感
- 明確的資源投入方向
- 良好的使用者體驗管理
- 價值性的探索設計破局點
- 清晰的設計價值體現&進階
體驗度量與可用性測試的區別：
有時候我們容易講體驗度量與傳統可用性測試相混淆，但兩者其實是有顯著區分的。
- 可用性測試：更多的是關注使用者使用產品成功完成某項任務的能力
- 使用者體驗度量：是更宏觀的視角，強呼叫戶與產品之間的整體互動，以及在互動過程中形成的想法、感受和感知
以上，我透過介紹自己對體驗設計價值的理解，及什麼是體驗度量、為什麼要做體驗度量的分析，闡述了體驗度量的基本概念及進行體驗度量的重要意義。下面透過對之前工作中進行的，資訊流專案體驗度量評測過程的回顧，向大家講解如何進行體驗評測（從構建到實施）。
04 如何進行體驗度量找準體驗度量切入點：
度量需要方法，而方法構建的第一步是找準切入點影響使用者體驗的因素有哪些呢？
美國著名學者：Fred D. Davis：
1989年，在技術接受模型(TAM )中，指出了兩個影響技術類產品使用的核心因素：“有用性”和“易用性”
- 有用性：在使用某一特定系統時，主觀上認為其所帶來的實際作使用者用、價值（有沒有用的問題）。
- 易用性：使用者在使用某一特定系統時，主觀上認為簡單、易理解、愉悅、順暢的程度。
“有用性”更多是產品能力本身層面的屬性，關乎功能和商業；而“易用性”則是設計師大多數情況下更能把握和發力的核心，也是大多數體驗度量模型的切入點。所以，資訊流體驗度量工作的切入點是：從度量產品的易用性角度切入。
切入點找到了，那有沒有成熟的方法可以直接套用或者借鑑學習？
目前較為成熟體驗度量模型：國際標杆模型Google HEART，國內大廠較為成熟的模型阿里雲的UES，螞蟻金服的TECH, 哈羅出行的體驗度量模型，以及網頁時代的經典PULSE 模型。
在分析中發現，PULSE模型誕生比較早（還是網際網路的洪荒時代）且指標更多關注網頁產品的可用性（只要確保產品能穩定快速執行，不會出現負面的體驗就行了），不是非常適合我們。而Google的HEART模型屬於經典模式，適用於大部分C端產品，其他幾種模式也基本脫胎與它，或對他有所借鑑。所以，我們找到的巨人就是Google HEART模型。
Google HEART模型評測模式: 其定義了體驗評價的5個維度，每個維度定義了對應的指標及相應的度量手段。從而完成抽象至具象的過程，實現體驗評測，檢測。
Google HEART模型評測模式
模式方式清楚了，那“巨人”有什麼 特點呢？透過發分析我們總結了HEART模型如下特點，我把它分成優勢與成本（都是相對而言的）：
Google HEART模型特點
模型優勢：全維度、多引數、多角度、系統性的評估方式，評測著眼角度為產品全域性且有大廠背書值得信賴。
與此相對應的，此種評測方式也帶來了相應的成本：實施成本較高；結果分析輸出成本高（如專案內無良好且完善的資料統計及分析工具基礎）；跨部門協作依存度較高（強調多部門較好的協同配合）。
那HEART模式適用於我們的專案嗎？於是，我們對我們專案的特點也進行了簡單分析：
- 產品特點：為公司APP內的一個功能模組
- 專案特點：基礎設施不完善，專案資源相對緊張，節奏快
- 迫切困惑：體驗與頭部競品差異較大，設計急需明確發力點（是內容導致？是使用體驗所致？…）
- 服務特點：內容消費，多為圖文內容（自身內容特徵 ），核心流程較為聚焦
- 設計側特點：人員有限（3UI+1UE），支援常規需求+體驗驅動需求
透過對大廠模型與自身特點的對照，我們發現：進行類似HEART模型式的全維度評估，似乎不能較好且有效率的解決我們當前的迫切問題，落地實施對我們當前專案現狀來說也彷彿有點難。
透過進一步分析現有“巨人”模型，發現其除了普遍借鑑、參考了HEART模型外，還有具有一個共同特徵，同時，我們也得到了一個新的認識：
一個共同特徵：
它們各有切入點，也各有其適應場景。雖然方法各具特色、不盡相同，思維卻可歸納。無論模型怎麼變化，表達產品體驗的重要度量指標，總逃不開這三個範圍：使用者感受、使用者行為、系統表現。
一個新的認識：
體驗度量具有較強的業務特點：不同的業務型別、業務階段、業務規模、資源情況都會有與之相配的不同的合適的度量方式。
基於以上理解，得出結論：現成的模型很好，但是我們不合適。
資訊流專案需要的是：我們當前需要的應該是與當前專案特點，專案情況，產品特徵、階段性目標匹配的專有評估方法。
所以下一步我們需要制定體驗度量的目標，對當前我們體驗度量的目標進行梳理：
- 量化並跟蹤資訊流核心使用流程的使用者體驗水平
- 量化並跟蹤資訊流產品在核心流程上與主流競品的優勢與差距
- 指導設計側體驗最佳化工作方向，驗證體驗最佳化結果，推動產品排期
- 解決我們體驗優勢是什麼？好多少。我們體驗劣勢是什麼？差多少的問題
基於對專案特點，當前度量目標的拆解，我們分析出適合我們自身的體驗評測方式：
- 聚焦搜尋APP資訊流模組
- 關注使用者核心使用流程的體驗
- 更多著眼使用者主觀感受
- 清晰與競品差距與機會點
接下來我們結合前期分析，提煉了資訊流核心路徑感官體驗評測的評價維度：
資訊流核心路徑感官體驗評測的評價維度
基於資訊流內容消費的產品形態特徵，結合專案現階段困惑、目標、資源能力確定評測維度為：
- 接受度（內容質量、整體使用感受）
- 愉悅度（清晰度，樣式舒適美觀度，特色功能）
- 任務效率（功能易用性、完備度）
依據確認的維度，提煉明確了評測的目標物：
- 核心內容質量（圖文內容為主）
- 主路徑使用感受（易用性，一致性，設計舒適度）
- 核心功能使用感受（評論，贊&不喜歡，分享等
- 整體體驗感受（主觀感受打分
- 主競品的同維度對比
根據本次體驗評測特徵（傾向主觀感受評測），結合對業內成熟評測方法的參考分析，確定本次評測的形式：採用專家評估。
我們又參考了一些啟發式評估的經驗資料（如：試驗表明，每個評審人員平均可以發現35％的可用性問題，而5個評審人員可以發現大約75％的可用性問題）
將評測形式進一步明確為：
透過每期招募不少於10名符合要求的“專家” ,透過一對多前期宣講，投放調研問卷，集中評測的形式進行資訊流核心路徑感官體驗評測。
什麼樣的專家是符合標準的：
資訊流核心路徑感官體驗評測的評價維度
結合資訊流核心路徑感官體驗評測的特點，我們梳理出了適合本次評測專家的標準：
- 公司內部招募
- 優先被評測專案，專案組內成員
- 設計職能為主，產品職能為輔
- 專家儘量階段性固定（考慮到多次實施成本，及結果的可靠性）
基於以上，我們最終確定了資訊流核心路徑感官體驗評測的最終形式：
專案組內UX為主體，兼顧產品，運營，開發等角色組成的專家式評估。每期招募不少於10名符合要求的“專家”透過一對多前期宣講，填寫問卷，集中評測的形式進行資訊流核心路徑感官體驗評測。
評測形式確定後，下一步我們就要著手進行調研問卷的設計：
根據前期分析推導結合資訊流產品特點與近期目標設定調研問卷大框架
- 明確列表至圖文詳情頁核心主路徑的評測細節點
- 明確主要評測流程：先看、看那些、看多少而後後評
- 明確評測取樣機型：根據後臺機型資料覆蓋，抽取主流使用者覆蓋機型進行評測
- 明確主要對標競品：**，**
根據框架指引，最終我們設計了:（經過多輪修改，也借鑑了許多成熟的可用性，易用性相關問卷等）
- 針對列表：內容、樣式、整體三維度，10題5分制問卷
- 針對詳情頁：內容、樣式、功能、整體三維度，21題5分制問卷
初版問卷示意（非最終版）
完成完整方法設計後，我們立即推動執行了首輪《資訊流核心路徑感官體驗評測》:
- 首輪評測共招募專家13人：UED側7名、產品&運營側6名專家（專案組內）
- 透過2天集中組織的測評，完成首輪資訊流核心路徑感官體驗評測,評測部分工作
其實，首輪評測除了前面講到的目標，我們還有兩個額外較為重要的目標：
- 初步驗證整體評測方法的可行性
- 獲取體驗評價體系基準點，作為核心流程體驗最佳化的參考系(前面提到了，本次評測核心目標之一為：迫切的想解決我們與頭部競品的體驗主要差異問題
在完成評測後，我們分析輸出了首輪評測的結果。透過對結果的分析，我們也得到了一些有價值的結論：
- 量化明確了我們與頭部競品在內容層面的具體差異
- 定位了樣式層面的問題及與競品的差異點，幫助設計師確定下一步工作目標
- 透過功能層面分數對比，看出一些特色功能對使用者的整體感受影響顯著（定位深入探索的方向）
在透過第一次體驗評測完成基點貯備與目標確認後，我們針對性推動了核心流程體驗最佳化工作：
針對性體驗最佳化行動路徑
由於有量化的評測結論佐證與指引，結合明確的行動目標、清晰的行動路徑，使得整個體驗提升計劃，以較高效率完成實施上線。
經過一段時間線上沉澱後，我們在疫情期間，透過線上組織進行了第二次資訊流核心路徑感官體驗評測（線上評測也是不得已而為之的一次有趣嘗試，最終從實施過程及結果上也驗證了，之前對評測專家應階段性固定設定的價值，確實會逐步提升評測的效率與結果可靠性）。
第二次體驗評測的關鍵性結論：
得益於第一次評測的指引，我們發現在第二次評測中我們的產品在：內容 、樣式、功能層面體驗評測分都有非常不錯的提升，也驗證了針對性體驗提升計劃，方向是正確的、結果是成功的。
透過依據對評測結果分析後的針對性回訪調研，也發現了一些之前缺乏關注的體驗問題點。同時 ，透過對功能評分資料的詳細分析：明確圍繞產品某些特定模組的創新挖掘，為下一步體驗設計突破方向。
自己在心裡其實，是將兩次評測定義為驗證性評測，去驗證我們的方法，我們的思考，我們的假設等等。
總結一下，透過兩次體驗評測或驗證我們都收穫了什麼：
針對性體驗最佳化行動路徑
- 我們驗證並實踐了資訊流體驗評測方法
- 我們獲得了資訊流體驗評測的基點儲備
- 我們量化了產品當前的體驗水平以及與頭部競品的差異
- 基於評測我們最終完成資訊流專案的體驗升級計劃的最後一環，並得到了科學的驗證。同時，具象化的解決了專案長期的體驗困惑
- 進一步提升了體驗設計部門在專案組內的“權威性”，變相提升了整體專案組的運轉效率
- 解決了後面怎麼走的問題，明確了創新方向，解決了資源投向的問題，也為專案中的設計決策提供了重要的新參考系
同時，經過這兩次評測，我們也有一些思考或者說反思：
- 評測維度是否完真正徹底整覆蓋核心使用流程
- 有無更加效率的評測方式（線上vs線下，因為前期專家側評估時間週期較長）
- 問卷設計是否非常合理（諮詢用研專家結合專家討論）
- 最終統計方式、結果是否合理且可信
- 需要推動建立固定評測機制，從而產生長效收益
基於以上的思考與反思，我們組織了包含評測設計者、執行者、參與者以及用研專家的覆盤會，對評測方式進行了如下幾個方面的最佳化改進：
- 重新梳理評測維度(結合全新的全新的維度拆解）對核心流程評測維度進行細化
- 最佳化題目&分數（最佳化不易理解的題目及題目循序，最佳化題目總數與分數設定梯度等使之評測過程更符合使用者使用與思考邏輯，降低評測難度。同時，提升評測結果的可靠性與統計難易度）
- 最佳化評測流程（ 對評測流程細化，對每一個環節設定詳細的操作說明與注意事項，如：增加提前使用環節及其實施說明）
- 最佳化資料計算機制（增加資料清洗環節，增加使用者評測問卷驗證可靠性驗證，，增加資料信度分析）
透過以上，我們最佳化輸出了《資訊流核心路徑感官體驗評測》第三版。
同時，基於對評測過程效率的思考，我們嘗試啟用了去中心化評測形式（線上集中宣講，線下一段時間內分散評測集中回收的評測方式）
基於對問卷可靠度的思考，我們設計了精簡版更“普世化”的使用者問卷，同步在線上向真實資訊流普通使用者進行投放。考慮到資訊流使用者問卷填寫意願普遍較低的客觀事實，及問卷的屬性，結合使用者研究有效問卷回收的經驗值，我們設定了使用者側問卷回收的有效標準：最佳目標500份，不少於200份。
透過參考業內成熟經驗，及用研專家建議結合資訊流體驗評測的自身特徵，我們設定了體驗總評分 = 專家分*0.8 + 使用者分*0.2 的計算方式。
完成以上工作後，我們按照既定計劃，組織實施了第三次資訊流核心路徑感官體驗評測（結果詳細資料屬於敏感資料 ，在此不做詳細介紹，大家見諒）
說一下第三次評測結果輸出的變化：
- 體驗分構成變為：與主流競品間的專家側對比分；由專家評分*0.8 + 使用者側評分*0.2 組成的資訊流體驗評測分
- 最終各項統計資料結果增加資料清洗與信度驗證規則（設定有效資料要符合信度α值 ≥0.75）
我們修改最終體驗計分規則的原因: 經過多輪評測後，我們意識到體驗對比不是最終目的，體驗評測追蹤為最終目的，為使體驗追蹤得分的更具代表性與權威性，參考業內成熟經驗+諮詢用研專家，對得分計算方式進行修改。
透過對比第三輪體驗評測專家側與使用者側分數，我們發現：兩側得分趨勢相同，使用者側普遍略高於專家側評分。結合我們評測方法的自身特點，這樣的結果符合我們前期預期，且評測方法的有效性也獲得了一種驗證。
經過三次體驗評測實踐，評測方法有效性也得到了多維度的驗證：
體驗評測方法的有效性得到了多維度驗證
驗證維度：
- 三次體驗評測專家反饋與趨勢分析
- 用研專家整體最佳化與評估
- 專家側&使用者側得分對照分析
- 三次體驗評測信度完整測試與分析
驗證結果：
《資訊流核心路徑感觀體驗評測》第三版較為可靠，可真實反映APP體驗水平
注：方法有效性驗證，也可透過評測方法的效度分析進行驗證
透過第三次體驗評測，我們又收穫了那些經驗：
- 專家側去中心化評測方式，由於缺乏有效可控的組織，導致出現較多無效資料
- 適當放寬的評測專家選擇，導致前期宣講成本增高，結果不良資料增多
- 專家側評估形式，更適合有主持的中心化評估方式，可有效保證評測的有效性
- 專家側評估，要保證評測人員多數固定，可逐漸增強評價的結果的可靠性及評價效率
根據隨第三次評測同步收集的專家側對評測方式的建議，結合用研專家的意見對評測方法進行最後一輪微調，形成終版《資訊流核心路徑感官體驗評測方法》。
由於上面講的三次體驗評估流程比較長，我們簡單回顧一下：
三次體驗度量階段目標回顧
第一次度量：
模型與評測方法驗證；獲得體驗評測基點；理清與主競品體驗差距；明確設計發力點。
第二次度量：
驗證體驗最佳化方案成效，對評測流程的進一步驗證；研究評測方案的不足與最佳化 方案；尋找下一步創新的發力點。
第三次度量：
評測方法的最終驗證；制定並落地週期性體驗評測機制；驗證階段性最佳化與創新全域性影響；對體驗的常規監控。
終版《資訊流核心路徑感官體驗評測方法》一共由7部分組成：
《資訊流核心路徑感官體驗評測方法》構成
我們也設定了資訊流核心路徑感官體驗評測方法 “閉環行動路徑圖”：
資訊流核心路徑感官體驗評測方法 “閉環行動路徑圖”
下面，我們回顧一下終版《資訊流核心路徑感官體驗評測方法》與“主流”評測方式。
評測維度上的對比 ：
評測維度對比
與主流評測方式相比 ，我們的評測維度相對更聚焦，更符合我們自身的專案特點及面臨的階段性問題。
評測特徵的對比：
評測維度特徵對比
與主流評測方式相比 ，我們缺乏對產品全域性關注度，但是，能夠換來更聚焦的評測，更靈活且實施成本底的評測方法，更高的評測運轉效率，更能滿足我們專案當前階段的迫切需求。
05 本文所講的要點回顧使用者體驗與業務價值強關聯，才能做到價值體現。
好的體驗是更好的實現產品價值、使用者價值、商業價值、社會價值的交付。
什麼是體驗度量：
“使用者體驗度量”透過一套可靠的測量體系 ，量化使用者體驗；是使用者體驗從“玄學”到“科學”的重要基礎；是做好體驗管理和良性迭代的重要途徑；是更好的實現體驗設計價值及體驗設計體系化的關鍵路徑。
體驗度量的重要性：
設計師是使用者體驗的“構建者”與“管理者”；如果不能很好的度量，就無法有效的管理；體驗度量是設計師深挖價值的有效路徑，是輸出設計價值的靠譜手段。
體驗度量的特點：
體驗度量具有較強的業務特點：不同的業務型別、業務階段、業務規模、資源情況都會有與之相配的不同的合適的度量方式。
不同的 體驗度量有較為一致關注角度：使用者感受、使用者行為、系統表現；方法雖多變，但思維統一，所以我講的如何度量不重要，重要的是如何思考。
體驗度量方法的設計思路：
體驗度量方法的設計思路
梳理體驗度量方法設計的9個關鍵節點：
- 理清：專案現狀&階段
- 明確：可投入資源
- 制定：階段性目標
- 提煉：有效評測維度
- 設計：評測方法與形式
- 挑選：評測專家&使用者
- 驗證：評測方法效度
- 檢測：評測結果信度
- 構建：閉環評測最佳化路徑與週期性檢測機制
感謝大家耐心閱讀，文筆拙劣，觀者見諒，希望本篇文章能夠對大家日常工作，尤其是準備進行體驗度量工作的同行們有所啟發。
作者：AaronCui ，Sogou-UED，退役老美工，耕田藝術家；公眾號：老美工聊設計
本文由 @AaronCui 原創釋出於人人都是產品經理。未經許可，禁止轉載。
題圖來自Unsplash，基於CC0協議