三份資料擺在同一張桌上。訪談摘要說客戶很需要報表功能,後台顯示報表頁一個月沒幾個人點開,業務週報寫著客戶每次開會都在問報表。三份都是真的。問題在於它們各自看見了什麼。
三個都要採信一部分,但各自只能回答一種問題。行為數據回答發生了什麼,訪談回答為什麼,業務回報回答哪些客戶正在施壓。矛盾出現時,先確認三份資料談的是否為同一群人、同一段時間、同一件事,多數矛盾在這一步就會消失。這種用多個獨立來源互相核對的做法,叫做三角驗證。
下面用一個去識別化情境說明:一家替物流車隊做派車管理軟體的公司,正在決定下一季要不要重做報表模組。
研究員訪了十一位車隊主管,九位提到報表。常見的說法是「每個月要交給老闆的那份報告,我得自己從系統裡一筆一筆抄出來」。
訪談的長處是原因與情境。我們知道了報表是月底才用、是交給老闆看的、現在靠手抄。這些細節從數字裡看不到。
訪談的弱點有三個。受訪者只有十一位,而且是願意受訪的人。受訪者描述的是記憶,記憶會放大最近一次的不愉快。還有,訪談大綱裡有一題直接問了「您對報表功能有什麼看法」,一旦這樣問,幾乎每個人都會講出一些看法。
所以訪談那一份的可信部分是:有一群主管在月底有一件痛苦的手動工作。不可信的部分是:九成客戶需要報表。
產品經理拉了後台紀錄。報表頁面的造訪次數很低,多數帳號一個月點開不到一次。他的結論是,客戶嘴上說要,實際不用,不值得投資。
行為數據的長處是涵蓋全部帳號,沒有記憶偏差,也不受提問方式影響。
它的弱點是只看得到系統裡發生的事。客戶把資料匯出到試算表自己做報告,系統只記到一次匯出,記不到後面兩個小時的手工。另外,沒人用可能有兩種完全相反的原因:不需要,或者需要但現有的做得太差。
再細看數據,有一個線索。報表頁造訪很少,但資料匯出按鈕在每個月最後三個工作天有明顯的高峰。這個高峰與訪談裡的月底手抄對上了。
所以行為數據那一份的可信部分是:現有報表頁很少人用,月底有集中的匯出行為。不可信的部分是:客戶不需要報表。
業務主管的週報上寫著,最近六場續約會議有四場被問到報表。他主張這是最優先的需求,再不做會掉單。
業務回報的長處是即時,而且直接連到營收。哪一家客戶在續約前提出了什麼條件,只有業務知道。
弱點同樣明顯。業務接觸的是正在談約的客戶,這些客戶有動機提要求來換取折扣。聲音最大的往往是合約金額最高的幾家,他們的需求未必代表其他客戶。業務也傾向記住被拒絕的理由,因為那關係到自己的業績。
所以業務那一份的可信部分是:有四家正在續約的客戶把報表當成談判條件。不可信的部分是:這是整體客戶最優先的需求。
這三種來源沒有高下之分。常見的錯誤是公司裡哪個部門聲音大,就採信哪一份。產品部門強勢的公司只看數據,業務強勢的公司只聽回報。
第三步是這次的轉折點。三個部門吵了兩週要不要重做報表,結果三方口中的報表是三樣不同的東西。現有的報表頁沒人用,是因為它回答的問題沒有人問。
第五步補的那筆資料也有收穫。八家小型車隊裡有六家說,老闆自己就在現場,不需要月報。需求集中在有管理層級的中大型車隊。
整合後的陳述是:車輛數較多、設有管理層級的車隊,主管每月底需要向上提交一份彙整報告,目前靠匯出資料後手動製作,現有報表頁無法滿足這個用途,小型車隊則沒有這項需求。
這句話與三份資料都相容。它解釋了訪談裡的抱怨、月底的匯出高峰、報表頁的低使用率,也解釋了為什麼提要求的是那四家較大的客戶。
決定因此從要不要重做報表模組,變成要不要替中大型車隊做一份可排程的月報匯出。範圍小了很多。這個功能值不值得做,還要看這群客戶占營收的比重與開發成本,調研到這裡為止。
三角驗證在方法上並不難,難的是人。這次有兩個阻力,幾乎每家公司都會遇到。
第一個阻力是每個部門都把對照當成對自己資料的質疑。產品經理聽到後台數據有沉默區,第一反應是辯護埋點很完整。我們的做法是把步驟四改成每個部門自己列出自己那份資料的沉默區,由本人來講,別由其他部門指出。自己講出來的限制,比較容易被接受。
第二個阻力是時間。業務主管認為續約會議就在下週,沒有兩週可以等。這個顧慮合理。所以我們把工作拆成兩段:前三天只做對齊對象與對齊定義,先讓三方確認吵的是否為同一件事。光是這一段,就足以讓業務在續約會議上問對問題,也就是請客戶描述那份月報長什麼樣子、交給誰看。
這套做法需要三種來源同時存在。新創團隊剛上線,沒有足夠的行為數據,也沒有穩定的業務回報,這時只能靠訪談,並且把結論當成假設。
如果決定很小、容易收回,例如調整某個按鈕的文字,花兩週對照三方資料並不划算,直接測試比較快。
還有一種情況是三種來源其實是同一個來源。例如業務週報的內容是轉述研究員的訪談,或者訪談名單是業務挑的。這時三角驗證只是把同一個偏誤重複了三次。開始對照之前,要先確認三份資料各自獨立取得。
最後,行為數據涉及使用者紀錄的蒐集與利用,應符合服務條款與當地個人資料保護規範,細節需由持牌法律專業人士確認。