數據與工具

指標定義漂移:同一個名字在三個部門代表三件事

當兩個部門為同一個數字爭論半小時卻沒有結論,通常代表他們在講兩件事,而那兩件事恰好有同一個名字。

幾乎每一家運作超過三年的公司都會遇到這個問題:業務說本月新客有一百二十個,行銷說是一百六十個,財務的報表寫的是九十八個。三邊都沒有算錯,因為他們各自的定義不同。業務算的是完成首次簽約的公司,行銷算的是第一次留下聯絡方式的個人,財務算的是本月實際入帳的客戶。三個數字都對,但放在同一張投影片上就變成一場沒有結論的爭論。

這種漂移不是誰的疏忽,而是組織成長的自然結果。每個部門在需要一個指標時,會依照自己的工作流程給出最方便的定義,那在當下都是合理的。問題出在沒有人把這些定義寫下來,於是三年後當公司需要跨部門的整體視角時,才發現地基是三塊不相接的板子。

漂移最常發生的四個地方

  1. 時間歸屬:以事件發生時間、資料寫入時間、還是財務認列時間為準,跨月的案子在三種定義下會落在不同月份
  2. 計數單位:以個人、帳號、公司、還是合約為單位,同一家企業的五位聯絡人可能被算成五個也可能算成一個
  3. 狀態定義:活躍、流失、續約這類狀態的判定門檻,例如多久沒有互動算流失,三十天與九十天差距極大
  4. 排除規則:內部帳號、測試資料、退款與取消的訂單、以及非目標市場的資料,各部門的排除範圍往往不同

第一項與第四項造成的落差最大,也最難察覺,因為它們不會改變數字的量級,只會讓兩份報表差個幾個百分點。幾個百分點看起來像是誤差,於是大家傾向忽略,直到某一次做重要決策時才發現方向完全相反。

一次成本可控的盤點

不需要一開始就做全面的資料治理,那通常會變成一個半年的專案然後不了了之。務實的做法是先挑三個最常出現在會議上的指標,把使用它的所有部門找齊,每個部門派一個實際產出數字的人,開一次九十分鐘的會議。會議的唯一產出是一份表格,每個指標各佔一列,欄位是時間歸屬、計數單位、狀態定義、排除規則。

這場會議的重點不是立刻統一,而是先把差異寫出來。多數團隊在看到差異被攤開的那一刻就已經解決了一半問題,因為爭論的來源消失了。接下來才討論要不要統一,而答案不一定是要。有些差異是必要的,例如財務必須依照會計原則認列,那就不該為了對齊而改。

不統一時的處理方式

當差異有正當理由而無法統一時,正確的做法是重新命名。把三個定義各自給一個不同的名字,例如行銷合格名單、簽約新客、認列新客。名字不同之後,同一張投影片上並列三個數字就不再是矛盾,而是三個層次的資訊。這個動作幾乎沒有成本,卻能終結大部分的無效爭論。

命名時建議加上定義的關鍵條件,而不是用一號二號或版本編號來區分。編號式的命名在半年後就沒有人記得誰是誰,而帶有條件的名字本身就是說明。另外務必把這份對照表放在所有人都會經過的地方,並在每一份報表的頁尾標註使用的是哪一個定義。

讓它停止繼續漂移

  • 新增指標必須登記:任何新的指標名稱在被使用前先寫進對照表,這一步只需要五分鐘
  • 報表標註定義:每一份定期報表在頁尾註明所使用的定義與版本日期,避免日後回看時誤讀
  • 定義變更留紀錄:修改任何定義時保留舊版本與變更日期,否則歷史資料的比較會失去意義
  • 每年檢視一次:一年一次把對照表拿出來確認是否仍符合實際流程,通常會發現兩三處已經悄悄改變

第三項最容易被忽略卻最重要。當一個指標的定義在某個月被修改,而沒有人留下紀錄,那麼跨越那個月的所有趨勢圖都會出現一個無法解釋的轉折。半年後有人看到那個轉折並據此做決策時,沒有任何人記得那只是定義變更造成的。留下變更紀錄的成本是一行字,不留的代價可能是一個錯誤的策略。

最後想說的是,指標定義的問題本質上不是技術問題而是溝通問題。它不需要新的工具,也不需要資料團隊投入大量時間,需要的只是有人願意把大家默默各自使用的假設攤在桌上。多數組織缺的不是能力,而是那個願意召開第一次會議的人。

三個實際發生過的情境

第一個情境是一家公司在檢討行銷成效時發現,某個管道的獲客成本異常低。深入追查之後才知道,這個管道的轉換是由系統自動標記的,而標記邏輯把所有無法歸因的成交都算給了它。這不是造假,只是預設值剛好如此,而三年來沒有人檢查過。修正之後那個管道的排名從第一掉到第五,先前依據它做的預算配置也全部重來。

第二個情境是續約率。客戶成功團隊算的是在到期日前完成續約的比例,財務算的是在該季度實際入帳的比例。因為許多客戶習慣在到期後一到兩週才付款,兩個數字長期差了將近十個百分點。雙方各自向管理層報告,管理層則長期困惑於為什麼這家公司的續約狀況說法不一。攤開之後的解法很簡單,就是把兩者重新命名為簽約續約率與入帳續約率。

第三個情境比較細緻,是活躍使用者的定義在一次改版時被悄悄調整。原本的定義是登入即算活躍,改版後改成必須完成某個核心動作才算。這個修改在技術上更合理,但沒有人留下紀錄,於是改版當月的活躍數出現明顯下滑,被誤讀成產品體驗惡化,還為此開了兩場檢討會議。這件事的成本,其實只是一行變更說明就能避免的。

給小型團隊的簡化版本

如果你的團隊只有幾個人,不需要正式的對照表,但仍然建議做一件事:把你們最常講的五個數字,各自用一句話寫下定義,貼在共用文件的最上方。一句話就好,包含時間歸屬與排除規則即可。這份東西在團隊只有三個人時看起來多餘,但當第四個人加入時,它會替你省下大量重複解釋,也避免新人依照自己的假設產出不一致的數字。

← 回到新知列表