楠木軒

萬字乾貨:越過18個讓數據變成謊言的陷阱

由 濮陽南煙 發佈於 財經

編輯導語:數字化時代,數據深深地影響並且改變着我們的生活和工作方式。在享受數據為我們帶來便利的同時,我們也要警惕數據這把雙刃劍隱藏着的一些陷阱。本文作者為我們總結了18個會讓數據變成謊言的陷阱,希望看後對你有所幫助。

數據在改變着當下的世界,但同時它也藴藏着巨大的陷阱。

在數據還叫統計數字的年代,馬克·吐温有句名言:“統計數字經常欺騙我,特別是我自己整理它們時。針對這一情況,有種説法十分準確:‘世界上有三種謊言:謊言、該死的謊言、統計數字。”

生活中,我們已經聽過太多實現數據掘金,賺取巨大回報的故事了。但實際工作中,我們自己處理數據時,它卻很容易成為馬克·吐温口中的謊言。而身陷這個巨大謊言陷阱中的我們,往往後知後覺,浪費了很多金錢和心血。

為了讓更多的朋友不在深陷其中,中士哥根據自己服務過的300多家企業,上千個數據分析項目的實戰經驗,總結了18個讓數據變成謊言的陷阱,讓你能提早防範,並給出了逃離陷阱的建議,希望你能喜歡。

在分享者18個讓數據變成謊言的陷阱之前,我們需要先看一看完整的數據分析工作大致是什麼樣的,通常有5個步驟:

  1. 量化:用統一的標準(或者説統計口徑)不重不漏的量化業務,並將業務數據均與財務數據關聯。
  2. 有數:根據統計口徑、統計平台和項目進度,選擇合適的採集技術,並正確運用採集技術,讓採集回來的數據與統計口徑相符。
  3. 看數:根據查看者將數據可視化圖表彙總&分類,並將重點指標根據波動大小設置閾值,一旦觸發自動提醒需要關注數據的人。
  4. 分析:以達成業務目標為分析目標,結合行業均值數據,選擇合適的分析方法分析數據,切勿為了分析而分析。
  5. 用數:根據分析結果,進行產品改動、推薦/推送/廣告投放策略的調整、甚至文案和素材的調整等等。

做成這5個步驟,很可能會遇到如下18個讓數據變成謊言的陷阱。

一、量化階段的4個陷阱

在如今這個網站、APP、H5和各類小程序,共同構建在線業務的年代,選個現成的數據分析工具一接入,獲取的數據就能滿足數據分析需求的情況還有嗎?有!但太少了,少到我不得不告訴你,也許你們的在線業務發展空間很大、很大、很大。

在如此複雜的在線業務面前,我們必須先做一些必要的規劃工作才能有效的量化業務,絕大多數第三方公司管這個過程叫——指標體系搭建。(PS:包裝的真好!)我們看一下這裏面有哪4個陷阱,及如何應對他們。

1. 陷阱一:統計口徑不統一

統計口徑不統一是指:同一個指標每個平台得是一個意思,否則不同平台的數據對比也好和彙總也罷,意義都不大。

以閲讀量為例,見如下表格:

雖然都叫閲讀量,但這仨貨明顯不是一個東西,直接對比三者毫無意義。彙總三者頂多知道打開次數至少是三者之和 和 可能真的閲讀了的次數至多是三者之和,得不到什麼確切結論。

為什麼會出現統計口徑不統一的情況呢?

一方面是因為,這麼多平台,大概率是不同人運營,難免會有差異,統一起來需要時間;另一方面是因為,互聯網行業還沒有統一的行業標準,沒有統一標準人員流動小也可以,至少可以自成一派,偏偏互聯網又人員流動性大,總是你方唱罷我登場,就沒個統一的時候。

寫在應對建議前的話:如果你就是想割資本的韭菜,那看過上面的內容,你可能就把“閲讀量”的統計口徑統一成刷新+1了,我想勸你善良,但估計你會選擇性失聰,所以,我就不多説了;如果你是要接盤的資本方,“閲讀量”是不是“虛高”,也許你刷新一下就知道了。不扯了,進入正題。

陷阱一的應對建議,這是一個管理問題,管理問題管理手段才能解:

  • 制定一個名字與含義相符的、全平台適用的統計口徑;
  • 協調可以管理各個平台的部門,以行政&財務手段,推行上述統計口徑;
  • 相關職位新員工的入職培訓和轉正考核,統計口徑均為必選項。

PS:想看現成的名字與含義相符的、全平台適用統計口徑的朋友,記得留言告訴我,並關注及時查看更新,讓你成為圈子裏最像數據專家的那個人。

2. 陷阱二:業務並未全面量化

大數據已經聊了快10年了,完全不做量化的基本沒有了,但量化不完整的,還是屢見不鮮,讓人甚是惋惜。

例如:一個購物流程是:活動頁>詳情頁>購物車>結算頁>訂單頁>支付頁>成功頁,7個頁面,但只有活動頁、詳情頁和支付頁進行了詳細量化,其他頁面沒有量化。

這些頁面就成了“黑盒”,我們根本無法瞭解到底發生了什麼,也就沒法憑據十足的制定優化策略,更談不上推動我們希望的優化方案落地了。

再舉個栗子:一波廣告活動,要投放很多渠道,但有些渠道沒有詳細量化單元、計劃和素材;結果只知道總轉化,卻不知道具體哪個單元、計劃和素材效果更好,這事成“黑盒”了,沒法把好鋼用在刀刃上,提升投入產出。

為什麼會出現部分業務並未全面量化的情況呢?

一方面是不同平台業務流程並不完全相同,且很可能是不同的產品經理獨立迭代,不同平台間有差異的地方,就特別容易在量化時遺漏;另一方面是雖然大家都能意識到可能存在這個問題,但這個事不是任何人的KPI,且都已經996了,誰還有餘力做“分外”事呀。

陷阱二的應對建議:歸根究底是這事沒人負責,找能負責的人來管。注意,這裏分產品裏的業務流程和廣告投放兩部分。

    • 找能統一負責同一個產品,APP、網站和各小程序整體效果的人(一般是產品總監或產品VP)。負責產品業務流程的全面量化;或者這個事是數據分析師負責,但允許數據分析師協調這個能對產品整體負責的人推動這個事。
    • 找能統一負責同一個產品所有廣告投放的人,負責產品廣告投放的全面量化;或者數據分析師負責,但數據分析師可以協調能對該產品所有廣告投放負責的人推動這個事。

PS:先找負責人,再説怎麼推動,否則就是踢皮球,無解。

3. 陷阱三:不與財務數據掛鈎

一切不與財務數據掛鈎的業務量化,都是耍流氓。

我們看看下面這組數據:

這時,多數人會判定A渠道的價值更高,但加上一個成本數據後呢?

現在,你覺得哪個渠道的價值更高呢?再加上收入看看。

你和你老闆説,A渠道轉化率是B的3倍,他不一定會有反應。但你和他説,A渠道的成本是B的4倍,他很可能會皺一下眉。要是你能再告訴他,A渠道賺的錢是B渠道的5倍,且成本不到5倍,相信他會覺得A渠道比B渠道好。

這個場景只是些基礎數據,但你應該能感受到,不考慮財務數據的量化,其實沒有什麼價值。任何一個財務數據的加入,都可能改變最終的分析結果。

陷阱三的應對建議:量化的時候,一定要和財務數據掛鈎才全面,後續的分析才有價值。哪怕你是toB或者大C企業、單價高、線下成交,也要做這種關聯。雖然,中間經歷了很多環節,成本容易被低估,收入的歸因可能不準確,但好過不做任何關聯。

4. 陷阱四:掉進錢眼裏了

凡事過猶不及,與財務數據掛鈎是必須的,但掉進錢眼裏,是會賠錢的,尤其是那種用户不直接在你這裏花錢的、通過廣告變現類的業務。我們以曝光計費廣告為例,瞭解下為什麼。

我們先看下此時廣告收入的指標拆解公式:

廣告收入 = 訪問用户數 * 日人均訪問次數 * 每訪問瀏覽頁數 * 被訪問頁面平均廣告位個數 * 曝光單價。

一個垂直內容社區朋友的真實案例是這樣的。

他認為:前3個指標只要堅持做優質內容就會持續上漲,最後一個指標主要取決於競價,他只能接受,需要專門提升的是第4個指標——訪問頁面平均廣告位個數。

他的策略簡單粗暴:把頁面做成了滿屏廣告的那種。你肯定見過,能想得出來那有多煩人。結果,單價大幅上升,前3個指標初期下降不多,總收入短期內上升了!

但隨後是持續的下跌,那種廣告位減少了,都無法挽回的下跌。我們事後總結,發現剛開始還有些老用户不知道已經滿屏廣告了,所以初期下跌不明顯;但當老用户都知道廣告太多時,他們就不來了,也不推薦了。

陷阱四的應對建議:要注意指標間的升降關係是否存在關聯,如果本來就是不能同時提高的指標,即使他們都是乘法關係,也得捨棄一些。

PS:在非無限延長的頁面上,被訪問頁面平均廣告位個數 與 訪問用户數、日人均訪問次數、每訪問瀏覽頁數三者間的關係,大體符合:廣告位從0到1,三者下降很大;廣告位從1到某個數字,三者變化不大;廣告位超過該數字,三者大幅下跌的情況。無限延長的頁面上把一定的屏數當成1個頁面,也有類似有趣的現象。

量化這部分聊完了,我們進入——有數。

二、有數階段的5個陷阱

當我們根據指標體系把業務不重不漏的量化並與財務數據關聯後,如何在技術和項目實施層面,真的將數據採集回來,就成了最重要的任務。畢竟,數都沒有,你還分析個P呀!

在這個時候,很多企業發現自己從諮詢公司花費重金建立了指標體系之後,卻無法落地、無法產生效益,覺得錢都打了水漂,指標體系毫無用處。

但這並不是因為指標體系搭建這個量化過程有什麼問題,而是數據採集涉及了太多的技術、認知和多方協作的問題。稍有不慎你有的數,就成謊言了。

下面和大家分享有數階段5個最常見,且危害最大的陷阱。

1. 陷阱五:採集命名規則不統一

指標體系搭建時,統一制定了用户ID的統計口徑,寫數據採集代碼時,不能用中文,你覺得不同程序員會如何寫用户ID呢?以下是真實案例:

5個程序員都認為自己是在採集用户ID,且它們的發音都一樣。但在系統計算數據時,會把它們當成5個不同的東西,因為系統只知其名,不知其意。

陷阱一和陷阱五很像,但有區別;陷阱一是同一個詞、寫法相同、意思不同,陷阱五是意思一樣、寫法不同、電腦程序認為不是一個東西。

陷阱一容易識別,陷阱五隱蔽性極強。因為如果只是語言溝通,很可能所有人都覺得彼此相互理解,但一回數發現大家做的完全不是一回事。

陷阱五的應對建議:統計口徑彙總表表頭,一定要有英文名這個字段,且要有各平台該數據實際採集字段名的記錄,並且這個記錄動作要發生在實際採集代碼撰寫前。

PS:這樣做是否一致,就像上面的表格一目瞭然了,且此時通常是程序員們先發現不一致,數據計算會存在問題,就自發統一了。

PPS:説遠點,建議大家在做需要跨多個部門和工種協作的工作時,一定要寫下來,讓不同部門不同工種的同事看理解是否一致。不同部門不同工種的人對同一個詞和用一個音的理解,千差萬別;寫下來看看,起碼可以避免同音不同字的情況,導致的差異。

2. 陷阱六:不同平台賬號數據未打通

這裏主要有3種情況:

1)混合開發的APP,不打通

結果是:用户的真實行為是:在原生頁面A,點擊能到H5的鏈接,到了H5頁面,在H5頁面點擊能到原生頁面B的鏈接,到了原生頁面B。

你監測成了兩個用户,小明和張三:小明在原生頁面A點了個鏈接,很久後出現在了從A到不了的原生頁面B上;另一個用户張三,突然出現在打開APP不能直接到的H5頁面上。

2)跨平台(如:APP和微信小程序),不打通

結果是:用户的真實行為:在APP裏分享拼團到羣裏,然後通過分享入口進入小程序,在小程序裏完成支付。你監測成了兩個用户,小明和張三:小明在APP裏分享之後,啥也沒幹。張三通過小明的分享進入小程序完成支付。

PS:其他跨平台也類似,會監測成多個用户。

PPS:你想想如果上述例子中的APP還是混合開發的,也沒打通,那數據會有多麼“精彩絕倫”。

3)一個人同時使用手機+電腦+pad訪問同一個公司的網站、APP和小程序是很常見的現象

這時候,不打通的話,至少算3個人。

陷阱六的應對建議:使用相同的賬號體系,讓各平台統一把賬號ID作為用户唯一身份標識。

靈魂拷問:我們公司APP、網站和小程序要分別註冊賬號不統一的,且永遠不會統一,該怎麼辦呢?

答:鄙人才疏學淺,不知道有什麼合法手段可以打通這種數據。有太多人問過我,不合法但能做到的方法是啥了,這種問答題了,我都選擇性失聰。而問我不合法能做得到方法是不是啥啥啥,這種判斷題的,我會回答YES or NO。但我勸你,即使是為了能睡的踏實,也別碰紅線。

3. 陷阱七:不知道轉化來源

簡而言之,就是數據是下面這樣的,不知道某個渠道的轉化和收入。

你別笑,我服務的企業不乏月廣告投放預算上億的,但他們當中也有一半以上,剛開始的時候,不知道這個數據。

80%以上的企業,我服務初期沒有這個數據,包括很多拿過互聯網營銷大獎的公司。如果要的更細,比如,A渠道某個廣告素材的轉化和收入是多少,我服務初期能拿出這個數據的也就2-3%。

Why?!為什麼會是這樣?!這不是造孽嗎?!

主要是4種情況:

  1. 一部分人就是覺得拿不到這些數據,他們要麼覺得技術上做不到,要麼覺得媒體會想盡辦法不讓你知道,而根本不會去求證,然後不作為。
  2. 不希望廣告投放效果明確量化出來,也許是因為量化出來對他們不利吧。
  3. 你知道廣告投放這門生意有個東西叫“返點”吧!點到為止!點到為止!
  4. 我確實想追溯到轉化來源,但太麻煩了,1萬個關鍵詞,就要弄1萬次。

前3種情況嘛,你永遠叫不醒裝睡的人。

針對陷阱七里的第4種情況的應對建議:

  1. 建議一:利用媒體開放的追蹤API,如某些平台,只需要{placement}就能知道具體投放到了哪裏,{keyword}就能知道所有關鍵詞。
  2. 建議二:如果媒體沒有開放追蹤API,可以結合Excel模板和批量操作工具,用較低的工作量實現對來源數據的全面追蹤。

PS:實現轉化來源追蹤,不同平台需要不同的技術,足夠單獨寫篇文章了。這裏先挖個坑,找機會填。

4. 陷阱八:所有數據都追求絕對準確

我們能追蹤到的數據,一定比真實發生的要少!

隨便舉幾個場景吧:

  • 無痕瀏覽能準確追蹤到數據嗎?
  • 屏蔽廣告能準確追蹤到數據嗎?
  • 用代理了能準確追蹤到數據嗎?
  • 實時在線人數真能準確追蹤到嗎?
  • IT技術落後的國家,移動站還是WAP,都不支持JS能準確追蹤到數據嗎?
  • ……

更不要説,數據接收、數據消費、數據存儲和數據查詢,這麼多技術環節,多多少少都會出點問題,只是問題多大、多頻繁的問題;更何況還有個人隱私保護法案這類東西,這年頭追求所有數據的絕對準確,可能你會被贈送一副連在一起的手鐲吧。

即使合法,即使技術上沒問題,就要追求所有數據的絕對準確嗎?數據本身也是有成本的:軟件費、服務費、諮詢費、硬件費、使用工具員工的薪酬等等。

  • 通過這些數據的更加準確,能賺取到的收益有多少呢?
  • 90%的準確率得出的結論和99%準確率得出的結論有什麼差別嗎?
  • 90%的準確率能獲取到的收益和99%準確率能獲取到的收益有什麼差別嗎?
  • 準確率從90%到99%,成本要提高20倍,還做嗎?
  • 更高準確率入不敷出的話,還要追求嗎?

陷阱八的應對建議:在合法範圍內,有幾個分析價值巨大的數據,還是要儘可能追求準確的:頁面打開次數(無限加載頁面可以一定長度算1頁)、賬號登錄次數(含自動登錄)及其打通、來源追蹤、收入和投放成本。

5. 陷阱九:想一次性搞定數據採集

我很能理解為什麼這麼多剛做數據採集的朋友想一次性解決數據採集問題,但應用開發的技術在不停升級、變化,數據採集技術也在不斷演進,只有變才是不變的!

除非你的應用不在繼續迭代升級,不再做任何活動頁面,只擴充內容或商品數量;否則,數據採集就總得隨着應用本身的變化,而不斷調整。

很多朋友覺得,起碼首次上線解決大部分問題,然後,隨着變化而變。

我對陷阱九的應對建議是:“二八原則”。

很多工作中,我們都會用到它。優先採集那些容易產生效益數據,即:頁面打開次數(無限加載頁面可以一定長度算1頁)、賬號登錄次數(含自動登錄)及其打通、來源追蹤、收入和投放成本,後面根據情況補充。

PS:如何更好地在數據採集時,用“二八原則”提高效益,也是能單獨寫篇文章的。

這裏只説個思路:例如:你細分頁面標題查看頁面流轉圖,發現搜索後付款的比例低於導航、推薦和運營位,那是不是可以考慮對搜索進行詳細監測,看如何優化搜索功能呢?通常搜索後付款的比例不會是墊底的。

三、看數階段的3個陷阱

做好數據採集後,我們有可以反映真實情況的數據了!那麼,如何看數才能讓人更容易從數據中看出門道呢?

剛開始做看數這項工作時,我總覺得看數就像寫文案,好像誰都能看得出來什麼是好文案,誰都能寫兩筆文案,似乎這項工作沒什麼門檻,誰都能做似的。做多了看數工作,我更覺得看數很像寫文案了,確實沒什麼門檻,誰都能做;但文案金句不是誰都能寫得出來的,不是誰都能讓大家把數看好的。

我們來看看看數階段的3個陷阱,你會發現避免起來,沒那麼難。但平凡中見神奇,把大多數人都能學會的事情做到出類拔萃,卻是最難的。

1. 陷阱十:只把數字圖表化

我們不追求自己也能做出那些,讓人一眼驚豔的數據可視化作品。但把數字做成圖表,真的還不夠;數據可視化要幫助查看者更容易讀懂數據包含的信息、甚至隱藏的秘密。

看看下面這組數據:

比較常規的數據可視化方法,就是做個餅圖,表示構成比例:

但一眼沒看到圖例的話,不容易直接意識到哪部分是男,哪部分是女。如果想一下子,把比例和男女,兩個信息都傳達出去,也許可以這麼做:

是不是一目瞭然了呢?我再拋磚引玉下:錢相關的可以用金幣(甚至收入和成本用不同顏色)、省份可以用地圖、設備佔比可以用手機/PC/平板的icon等等。

除了這些以外呢?根據轉化流程增加指標,是個好方法,如下圖:

絕大多數人,應該一眼就能看到,哪個來源是最特殊的吧!

另外,兩個座標軸都平均數搞個4象限,效果也十分明顯,就不具體舉例了。

相信大家開動腦筋,能想到更多好方法,讓你的數據可視化變得更容易傳遞信息,更容易讓人看出數據背後的秘密。先走出這一步,也許你就會成為人羣中,那個與眾不同的人了。

2. 陷阱十一:不同KPI的人,看相同的數據

這是最可怕的,往往導致內耗巨大,很多亟需解決的問題沒人管,看相同數據的人相互之間無限踢皮球,就是不作為,企業效益每況愈下。

這事聽起來像笑話,但總能碰見。為什麼呢?主要是如下3種情況:

  1. 被第一關鍵指標洗腦了,覺得全公司都應該看同一個指標,大家羣策羣力,甚至覺得程序員應該優先看市場傳播類指標。
  2. 雖然KPI不同,但卻有很多交集。比如,銷售和售前、產品經理和產品運營,KPI並不相同,交集卻很大。(當然更搞笑的是:不同崗位的人,對同一個KPI負責)
  3. 數據太少了,少到沒得選。

陷阱十一的應對建議:

    • 情況1的應對説明。第一關鍵指標是指策略層面有個最重要的指標是目的,其他根據他拆解來的指標是手段,通過圍觀指標幫助我們避免在做數據分析時,本末倒置。以自願為原則,讓全公司參與第一關鍵指標的提升的頭腦風暴是OK的,但強制性的讓它成為所有人必須考慮的指標,有點奇怪。每個人優先看的數據,一定是他/她的KPI。
    • 情況2的應對説明。寫在建議前的話:很多上了年紀的人,告訴我:“你太年輕,你不懂,這是老闆的馭人之道,帝王權術!他就希望你們有矛盾,甚至是故意挑撥離間,他才能坐享其成!”我不驚訝於這個觀點,但驚訝於這個觀點的普遍性。我想説的是,暴利行業也許有這麼作妖,企業收益降低,老闆個人收益提升的空間,利潤不高的小微企業,這麼操作的空間不大。進入正題:明確“責·權·利”,並與KPI交集大的同事,商量好分工和協作方式,這之後你們看的數據就自然而然不一樣了。
    • 情況3的應對説明。這我還能説啥呀,除了多搞點的數據,我還能説啥。要是你們這個業務本身就沒啥數據,那可能它就不適合用數據分析這個方法。畢竟,數據分析只是個方式方法,不是萬能靈藥。
3. 陷阱十二:關注計算型指標的實時變化

有次和一位數據產品經理交流時,聽到:“我們客户的需求就是,一個數據變化超過百分之多少,立刻收到一條短信或者微信,讓他們知道!”非常典型的需求,你是不是也想立刻知道數據的實時鉅變?

但不是所有的指標都適合關注實時變化的。

統計型指標、標量、累加的那種,比如:用户數、瀏覽次數、打開次數、訪問次數、銷量、銷售金額等,在有大動作的時候,關注它們的實時變化,是很有意義的。比如,推廣活動上線後,稍有延遲用户數就應該上升,沒上升大概率是出了什麼問題;再比如,做了個促銷,銷量應該上升等等。

但計算型指標,需要做個四則運算的,都不太適合關注實時變化,比如,轉化率、留存率、每訪問瀏覽頁數、平均訪問時長、視頻觀看完成率等,這些數據關注實時變化意義不大,因為他們是浮動型的,可漲可跌。你收到提醒,焦急的去查看波動巨大的原因,發現它們又到正常範圍內了。另外,像留存率這種,最小時間顆粒度是天,看實時變化根本沒有任何意義。

四、分析階段的4個陷阱

終於到了直接創造價值的部分了!前面三個步驟,十二個陷阱,通常會佔據數據分析工作80%以上的工作量,但大家感受不到他們的價值。那些工作的價值幾乎都是隱性的,沒有他們做基礎,萬萬不能。但讓那些付出產生回報的分析裏,卻藏着4個是最容易讓數據變成謊言的陷阱。

1. 陷阱十三:不剔除假流量就做數據分析

近5年,在線廣告的假流量佔比持續降低,但平均下來佔比也高達30%,雖然假流量的比例在逐年下降,但即使是最樂觀的估算2020年這個佔比也能到四分之一。而某些重災區,這個數字甚至會超過50%,更有甚者超過80%。

這麼大的比例,不剔除出去,數據分析還有什麼意義!

為什麼會有這麼大的比例呢?

首先,造假的直接成本太低。機器人假流量的直接成本很低,是真流量的千分之一!即使是那種技術含量很高,很難識別的機器人假流量,直接成本也不到真流量的百分之一。而“肉雞”則更難識別,且直接成為也不到真流量的五十分之一。利潤太大了,總是有人抵抗不住這種誘惑的。

其次,廣告主買到假流量仍賺錢就沒事。我們拿最誇張的80%舉例,只要這20%的真流量帶來的收益,比廣告投放成本高,廣告主就沒必要較真,當做流量的真實價格是標價的5倍就好。除非有另一平台,帶來的收益更高,那即使假流量更大,廣告主也會考慮換到那裏。

再次,實錘假流量很難。造假技術也是在不斷升級的,能升級到什麼程度呢?《貓鼠遊戲》裏有段台詞説得好:“技術上來講,他不是在做假支票,就是在做真支票。”有些假流量高級到,除了沒有付款,所以你懷疑它是假流量外,你找不到任何證據。

最後,假流量是個巨大的利益集團……點到為止!點到為止!

如何應對假流量呢?

    • 我很想教大家如何識別假流量,但曾經我用某種方法,證明了1個渠道是假流量,對方不接茬了。結果下次,相同的方法無法證明這個渠道是假流量了,但轉化毫無提升,我懷疑還是假流量,又費了很大力氣才實錘就是假流量。這就很尷尬了,我實錘吧,這招下次就不好使了,我不實錘吧,就得看着他們繼續作孽。所以,有機會線下和大家細説,這裏只分享一個方法,比如分辨率的寬連號從1300-1399,100個數字全都有,且流量佔比相同,最重要的是分辨率的高都是0。挺玄幻是吧,還有更玄幻的呢。找多了假流量你會發現,真的很有趣,點到為止哈!
    • 有些你嚴重懷疑是假流量,但沒有上面那麼明確的證據該怎麼辦呢?反正他是不會有轉化,不會有付款的,把它當成低質量流量處理就好了。
    • 一個渠道真假流量混合怎麼辦?根據實錘證據把假流量篩出去,再分析。
2. 陷阱十四:不對指標細分,不加其他相關指標驗證

總説在線業務的例子,很枯燥,這裏換個籃球場上數據分析的例子。

有個球員,新賽季投籃命中率55.7%,上賽季投籃命中率48.7%,提升了7個百分點,那我們是不是就可以認為,他們投籃更準了呢?命中率更高和投籃更準是一回事嗎?聽起來像是一回事哈,數據支持這種想法嗎?

我們把投籃區域分成:籃下、中投和三分,細分看看數據是什麼情況。

驚不驚喜!意不意外!

這是開了什麼掛?!籃下、中投和三分和上賽季比都下降了,但合計命中率居然上升了!

我們加入按投籃區域細分命中/出手數據,再看下:

看出來了嗎?即使和上賽季比籃下命中率略有下降,但它還是上賽季合計命中率的近1.5倍,而籃下出手比例比上賽季提升了50%以上,低命中率的三分和中投又減少的更多,使總出手比上賽季都低了。這個命中率的提升,不是靠提高投籃準確度,而是靠提高更擅長投籃方式的佔比實現的。

依照這個思路,你可以查看下,那些沒有細分、添加其他相關指標驗證的數據,估計你會找到一個大寶藏!

3. 陷阱十五:分析業務數據時,不加外部數據

舉個真實案例,一個公司年營業額從去年的2,000萬到了今年的4,000萬,CEO給董事會彙報時,説:業績翻番,做的很好。前4個字是描述事實,沒有問題;後4個字是表達觀點,業績翻番和做的好有什麼關係嗎?真的有關係嗎?

行業第一從10億做到了20億也是業績翻倍,但人家基數是你50倍,這個難度差得有點大呀。

該公司的主要競爭對手,從1億做到了4億,業績翻兩翻。基數是你5倍,業績成長是你2倍,哪個更難不言而喻。而去年營業額在2,000萬左右的同行,今年營業額全在5,000萬以上。

業績翻番是增長最少,且總營業額最低的!能説做得好嗎?分析業務數據時,加上行業第一、競爭對手、其他同行,再看看自己的業務數據變化,也許你會發現,世界不一樣了!

4. 陷阱十六:為了分析而分析

做業務時,數據分析是手段,業務提升是目的,不能本末倒置。

舉個例子,歸因模型大家應該都聽過,一個非常高級的分析技術,用來分配價值的。一個用户看了某個產品很多次,才購買,每次的入口不同,應該如何分配這筆收入呢?

這麼高級的東西,很多做數據分析的朋友,都很願意嘗試,用它來做數據分析,甚至是自定義歸因模型,聽起來很高大上哈。高達上和假大空往往只有一線之隔,能不能落地帶來價值。

繼續説歸因模型,它是分析反覆瀏覽才轉化的用户的。

  • 如果你絕大部分的轉化都是新用户帶來的?
  • 如果你絕大部分用户的訪問間隔大於購買決策週期?
  • 如果你是在做促使消費者衝動消費的活動?

上述3種情況,用歸因模型分析得到的結論,對業務提升幫助不大。類似的情況很多就不一一舉例了。分析模型該怎麼選,也夠單獨成文了。

所有的分析模型、分析方法、分析手段,都是為了通過數據解釋某個業務場景而存在的。建議大家先想業務目標,再想業務場景,最後看怎麼分析,這樣數據分析才能有的放矢!

五、用數階段的2個陷阱

這兩個讓數據變成謊言的陷阱都能越過的話,你應該能從數據中,獲取很大的收益了!

1. 陷阱十七:根據推算標籤,做具體調整

細緻調整是指推廣賬户裏的具體設定,尤其是那些標籤的具體選擇。

標籤的分類入手,解釋下為什麼這是個陷阱。標籤主要分採集型標籤和推算型標籤兩類,手機型號,聯網方式,這些是可以直接採集到的,這種標籤非常準確。

推算型標籤,一般數據量越大越準,標籤裏值的個數越少越準。舉個例子,性別,只算男和女,有2個值;年齡段,卻可以有18以下、18-25、26-35、36-45、45以上,很多個值;那麼,數據量相同的情況,大概率是性別更準確。由於這點的存在,一般再分成高準確率推算標籤和低準確率推算標籤。

標籤推算的一大邏輯是:根據行為打分,以性別為例,算1百萬個人,有多少男、多少女,準確率會超過97%;但具體某個人,系統給出的不是,這個人的性別是男是女,而是類似該用户有89%的男性行為、11%的女性行為。

根據推算標籤做細緻調整非常不靠譜,越是準確率低的標籤,越是不值得根據它做細緻調整! 根據它們調整往往適得其反,甚至連量都沒有了。但這裏不是説推算型的標籤沒用,根據標籤進行大的策略調整是OK的。例如,你發現你用户大部分是男的,據此,設計文案和素材,肯定是大有幫助的。

2. 陷阱十八:做A/B測試只改頁面

舉個例子,之前一個客户覺得推廣頁面的文案和頭圖不好,導致轉化率很低。但是無論怎麼修改,都是第一版轉化率更高,導致他都懷疑所處行業的前景了。

分析跳出率後,發現新頁面的跳出率普遍在93%以上,而第一版頁面的跳出率不到80%。我們體驗了一下流程發現,推廣投放的文案和圖片一直沒改,只和第一版匹配。和後續調整的頁面,全都驢唇不對馬嘴!之前的A/B測試結論,都靠不住。

於是,我們把推廣投放的文案和圖片,配合推廣頁進行了修改,發現更改的版本里,確實有轉化率更高的了。

大家做推廣頁面的A/B測試時,千萬要記得把投放端的文案和圖片也改了。

本文由 @中士哥 原創發佈於人人都是產品經理。未經許可,禁止轉載

題圖來自 Unsplash,基於CC0協議