市場調研

客戶說的與做的不一樣怎麼辦:訪談、行為數據與業務回報的三方比較

三份資料擺在同一張桌上。訪談摘要說客戶很需要報表功能,後台顯示報表頁一個月沒幾個人點開,業務週報寫著客戶每次開會都在問報表。三份都是真的。問題在於它們各自看見了什麼。

訪談、行為數據與業務回報互相矛盾時,該相信哪一個

三個都要採信一部分,但各自只能回答一種問題。行為數據回答發生了什麼,訪談回答為什麼,業務回報回答哪些客戶正在施壓。矛盾出現時,先確認三份資料談的是否為同一群人、同一段時間、同一件事,多數矛盾在這一步就會消失。這種用多個獨立來源互相核對的做法,叫做三角驗證。

下面用一個去識別化情境說明:一家替物流車隊做派車管理軟體的公司,正在決定下一季要不要重做報表模組。

訪談紀錄的觀點:客戶告訴我們他們想要什麼

研究員訪了十一位車隊主管,九位提到報表。常見的說法是「每個月要交給老闆的那份報告,我得自己從系統裡一筆一筆抄出來」。

訪談的長處是原因與情境。我們知道了報表是月底才用、是交給老闆看的、現在靠手抄。這些細節從數字裡看不到。

訪談的弱點有三個。受訪者只有十一位,而且是願意受訪的人。受訪者描述的是記憶,記憶會放大最近一次的不愉快。還有,訪談大綱裡有一題直接問了「您對報表功能有什麼看法」,一旦這樣問,幾乎每個人都會講出一些看法。

所以訪談那一份的可信部分是:有一群主管在月底有一件痛苦的手動工作。不可信的部分是:九成客戶需要報表。

行為數據的觀點:系統記錄了他們實際做了什麼

產品經理拉了後台紀錄。報表頁面的造訪次數很低,多數帳號一個月點開不到一次。他的結論是,客戶嘴上說要,實際不用,不值得投資。

行為數據的長處是涵蓋全部帳號,沒有記憶偏差,也不受提問方式影響。

它的弱點是只看得到系統裡發生的事。客戶把資料匯出到試算表自己做報告,系統只記到一次匯出,記不到後面兩個小時的手工。另外,沒人用可能有兩種完全相反的原因:不需要,或者需要但現有的做得太差。

再細看數據,有一個線索。報表頁造訪很少,但資料匯出按鈕在每個月最後三個工作天有明顯的高峰。這個高峰與訪談裡的月底手抄對上了。

所以行為數據那一份的可信部分是:現有報表頁很少人用,月底有集中的匯出行為。不可信的部分是:客戶不需要報表。

業務回報的觀點:誰在會議上開口要求

業務主管的週報上寫著,最近六場續約會議有四場被問到報表。他主張這是最優先的需求,再不做會掉單。

業務回報的長處是即時,而且直接連到營收。哪一家客戶在續約前提出了什麼條件,只有業務知道。

弱點同樣明顯。業務接觸的是正在談約的客戶,這些客戶有動機提要求來換取折扣。聲音最大的往往是合約金額最高的幾家,他們的需求未必代表其他客戶。業務也傾向記住被拒絕的理由,因為那關係到自己的業績。

所以業務那一份的可信部分是:有四家正在續約的客戶把報表當成談判條件。不可信的部分是:這是整體客戶最優先的需求。

把三方觀點並排,各自能回答與無法回答的問題

  • 訪談紀錄:能回答原因、情境、用詞與替代做法。無法回答比例與規模。主要偏誤來自樣本自我選擇與引導式提問
  • 行為數據:能回答發生了什麼、頻率與分布。無法回答原因,也看不到系統外的行為。主要偏誤來自埋點範圍與對沉默的誤讀
  • 業務回報:能回答哪些客戶在施壓、與營收的關聯。無法回答沉默客戶的想法。主要偏誤來自談判動機與大客戶的音量

這三種來源沒有高下之分。常見的錯誤是公司裡哪個部門聲音大,就採信哪一份。產品部門強勢的公司只看數據,業務強勢的公司只聽回報。

三角驗證的六個對照步驟

  1. 對齊對象:把十一位受訪者、後台帳號、業務提到的四家客戶放進同一張表,看有多少重疊。這次發現受訪者裡有七位來自車輛數五十台以上的車隊,而全部客戶裡這種規模只占少數
  2. 對齊時間:訪談在季末進行,數據拉的是整季平均。把數據改成按週檢視,月底高峰才出現
  3. 對齊定義:三方說的報表是同一件事嗎?訪談指的是給老闆的月報,後台的報表頁是即時派車統計,業務聽到的是客戶想要能自訂欄位的匯出
  4. 找出每一份的沉默區:誰沒被訪到、哪些行為沒被記錄、哪些客戶沒進續約會議
  5. 針對矛盾點補一小筆資料:這次是打電話給八家從未使用匯出的小型車隊,詢問月底如何向上回報
  6. 寫出一句三方都不矛盾的陳述

第三步是這次的轉折點。三個部門吵了兩週要不要重做報表,結果三方口中的報表是三樣不同的東西。現有的報表頁沒人用,是因為它回答的問題沒有人問。

第五步補的那筆資料也有收穫。八家小型車隊裡有六家說,老闆自己就在現場,不需要月報。需求集中在有管理層級的中大型車隊。

最後寫出的那一句話,以及它如何改變決定

整合後的陳述是:車輛數較多、設有管理層級的車隊,主管每月底需要向上提交一份彙整報告,目前靠匯出資料後手動製作,現有報表頁無法滿足這個用途,小型車隊則沒有這項需求。

這句話與三份資料都相容。它解釋了訪談裡的抱怨、月底的匯出高峰、報表頁的低使用率,也解釋了為什麼提要求的是那四家較大的客戶。

決定因此從要不要重做報表模組,變成要不要替中大型車隊做一份可排程的月報匯出。範圍小了很多。這個功能值不值得做,還要看這群客戶占營收的比重與開發成本,調研到這裡為止。

日常工作中可以直接使用的判讀規則

  • 訪談說要、數據顯示沒用:先查現有功能是否對應同一個需求,再查系統外有沒有替代行為
  • 數據顯示常用、訪談沒人提:可能是習慣性動作,客戶不覺得值得一提,移除前要特別小心
  • 業務說很多人要、數據與訪談都沒有跡象:確認是幾家客戶、是否處於談約階段
  • 三方一致:仍要檢查三方是否都來自同一小群客戶

這次對照過程中,會議上出現的兩個阻力

三角驗證在方法上並不難,難的是人。這次有兩個阻力,幾乎每家公司都會遇到。

第一個阻力是每個部門都把對照當成對自己資料的質疑。產品經理聽到後台數據有沉默區,第一反應是辯護埋點很完整。我們的做法是把步驟四改成每個部門自己列出自己那份資料的沉默區,由本人來講,別由其他部門指出。自己講出來的限制,比較容易被接受。

第二個阻力是時間。業務主管認為續約會議就在下週,沒有兩週可以等。這個顧慮合理。所以我們把工作拆成兩段:前三天只做對齊對象與對齊定義,先讓三方確認吵的是否為同一件事。光是這一段,就足以讓業務在續約會議上問對問題,也就是請客戶描述那份月報長什麼樣子、交給誰看。

三角驗證在哪些情況下不適用或成本過高

這套做法需要三種來源同時存在。新創團隊剛上線,沒有足夠的行為數據,也沒有穩定的業務回報,這時只能靠訪談,並且把結論當成假設。

如果決定很小、容易收回,例如調整某個按鈕的文字,花兩週對照三方資料並不划算,直接測試比較快。

還有一種情況是三種來源其實是同一個來源。例如業務週報的內容是轉述研究員的訪談,或者訪談名單是業務挑的。這時三角驗證只是把同一個偏誤重複了三次。開始對照之前,要先確認三份資料各自獨立取得。

最後,行為數據涉及使用者紀錄的蒐集與利用,應符合服務條款與當地個人資料保護規範,細節需由持牌法律專業人士確認。

← 回到新知列表