數據與工具

每月只有十幾筆詢問,樣本太小時數據該怎麼判讀:九個問答

顧問、代銷、專業服務,一個月的詢問常常只有十幾筆。照教科書的說法,這種量什麼都不能說。但決定還是得做。以下九個問題,是客戶在會議上真的問過的,照被問到的順序回答。

樣本太小的時候,數據到底該怎麼判讀?

樣本太小時,改用三個做法:只報件數與分母,不單獨報百分比;把觀察區間拉長到三個月或六個月的滾動值;每一筆資料都打開來讀。結論寫成傾向與待驗證的假設,並說明要再累積多少筆才能確認。這樣做,小樣本仍然能支持日常決定,只是不能支持強烈的因果宣稱。

樣本,指的是你實際觀察到的那些資料筆數。小樣本的問題在於,隨機的好運與壞運佔的比重很大,容易被誤認成趨勢。以下九個問答,逐一處理實務上會遇到的情況。

問一:這個月成交率從上個月的三成掉到一成多,是不是出事了?

先看分母。假設上個月是十筆成交三筆,這個月是十四筆成交兩筆。差別只有一筆。少成交一筆,可能是客戶那邊預算延後,跟你做了什麼沒有關係。

這種情況不必開檢討會。要做的是把這兩個月合起來看,並把沒成交的那幾筆打開,讀一遍未成交原因。讀完如果發現有三筆都卡在同一個環節,那才是訊號。訊號來自內容,不來自那個百分比。

問二:那要累積到幾筆,百分比才能信?

沒有一個通用的數字,這取決於你想分辨多大的差異。我們給客戶的實用判斷是抽換測試:把資料裡最好的一筆與最差的一筆拿掉,重算一次。結論不變,就可以先用。結論翻轉,就繼續累積。

這個測試不嚴謹,但不需要統計訓練,會議上當場就能做。對每月十幾筆的生意來說,它比背一個樣本數門檻有用。

問三:滾動區間是什麼,要怎麼設?

滾動區間,是每次都取最近固定長度的一段時間來計算,例如最近三個月。下個月再算時,最舊的一個月退出,最新的一個月進來。它讓每次計算的分母變大,數字比較穩。

區間長度的設法,是讓分母至少累積到幾十筆。每月十幾筆詢問,就用三到六個月。代價是反應變慢。上個月的改動,要過一陣子才會在滾動值裡顯現。報表上要同時列出當月件數與滾動值,兩個一起看。

問四:我們改了報價單的格式,怎麼知道有沒有用?

件數少的時候,沒辦法做嚴格的對照實驗。能做的是在改動之前,先寫下預期。例如,預期客戶收到報價後的追問會變少,預期從報價到回覆的天數會縮短。

然後觀察兩到三個成交週期。期間每一筆都記錄客戶追問了什麼。如果追問的類型真的變了,原本常問的付款方式沒有人再問,這是有內容的證據。它比成交率上升幾個百分點可靠。

要誠實寫下的是,同一段時間還有哪些事也變了。換了季節、換了接洽的人、文章剛好被引用。這些都寫在觀察紀錄裡,讓讀的人知道結論的把握有多少。

問五:兩個來源各只有五六筆,能比較哪個好嗎?

不能比轉換率,但可以比別的。把兩邊的名單各自打開,比較詢問時說的需求有多具體、預算是否提過、決策者是否在場。這些特徵每一筆都看得到,不需要等成交。

如果一個來源的名單,有五筆都能說出明確時程,另一個來源的六筆只有一筆說得出來,這個差異值得記下來。它是一個假設,下一季繼續驗證。

問六:平均成交天數忽高忽低,要怎麼看?

改看中位數,並把每一筆的天數直接列出來。中位數是排序後位在正中間的值,不受一兩筆極端案件影響。

件數在二十筆以內時,我們建議連中位數都不必算,直接把每一筆畫成一個點,排在一條線上。哪幾筆特別久,一眼就看到。然後去問那幾筆發生了什麼事。小樣本的好處就是每一筆都問得起。

問七:主管要一個數字,我該怎麼報?

給數字,同時給它的重量。寫法有固定的三句。第一句是事實:最近六個月,合格詢問若干筆,成交若干筆。第二句是判讀:成交比例與前一個六個月相近,差異在一兩筆之內。第三句是下一步:若要確認報價格式的影響,需要再觀察到某個月。

不要只丟一個百分比。主管會把它記住,下次拿來比。也不要說資料太少所以無法判斷。那句話等於沒有回答。

問八:有沒有什麼情況,小樣本反而夠用?

有。當效果非常大的時候。例如過去一年每一筆詢問都要來回五封信才能確認需求,改了表單之後,連續八筆都在兩封信內確認。這種改變不需要大樣本就看得出來。

另一種情況是找問題而不是量效果。只要有三位客戶在同一個步驟卡住,就足以說明那個步驟有問題。發現問題需要的樣本,遠小於測量比例需要的樣本。

問九:小樣本判讀最常犯的錯是什麼?

  • 只挑對自己有利的區間來算,例如剛好從表現最差的那個月之後開始算
  • 事後才決定要看哪個指標,哪個好看就報哪個
  • 把連續兩個月的上升稱為趨勢
  • 把百分比算到小數點後一位,製造精確的假象
  • 因為資料少就完全不記錄,等到想看的時候什麼都沒有

最後一項最可惜。資料少,更要每一筆都記完整。一年後就有一百多筆,那時候很多問題就答得出來了。

一個去識別化的例子:兩筆成交引發的錯誤結論

一個服務企業客戶的顧問團隊,在某一季嘗試了一種新的提案格式,把原本二十頁的提案縮成四頁。那一季的成交比前一季多了兩筆。團隊很快得出結論:短提案比較有效,以後全部改用四頁版。

我們被請去看資料時,做的第一件事是把那一季的成交案件逐筆打開。多出來的兩筆,都是前一季就在談的舊案,客戶內部的預算剛好在這一季核下來。他們收到的是原本的二十頁提案。

真正收到四頁版的新案件,有的成交,有的沒有,與過去沒有明顯差別。但對話紀錄裡有一個有意思的線索:收到四頁版的客戶,回覆得比較快,追問的問題也比較集中在範圍與時程。

所以比較誠實的結論是:短提案可能縮短了客戶回覆的時間,對成交與否的影響目前看不出來。這個結論沒有原本的那麼振奮,但它是資料撐得住的。團隊後來保留了四頁版,並加了一欄記錄客戶首次回覆天數,繼續觀察。

小樣本時,這張逐筆紀錄表比任何統計方法有用

上面那個例子能被釐清,靠的是每一筆案件都記錄了幾件事:首次詢問日期、收到的是哪一版提案、報價送出日期、客戶每次回覆的日期、成交或未成交的原因。

件數少的生意,請把力氣花在把每一筆記完整,而不是學更複雜的分析方法。一張欄位齊全的試算表,加上願意逐筆閱讀的習慣,能回答的問題比想像中多。

  • 每一筆都有案件編號,能連回原始對話
  • 每一次改動做法的日期都記在另一張表,方便對照哪些案件是改動之後才進來的
  • 未成交原因用客戶原話記錄,另加一欄歸類
  • 同一時期發生的其他變化,例如換人接洽或調整價格,也記在改動紀錄裡

最後一項最常被忽略。小樣本最怕的就是同時改了兩件事,然後把結果全算在其中一件頭上。改動紀錄表可以提醒你,那段時間其實還發生了什麼。

這些判讀方法在什麼情況下不適用

需要對外發表、或會成為重大投資依據的結論,不應該只靠這套方法。那類情況需要正式的研究設計與統計檢定,應該找受過訓練的分析人員處理。本文不構成投資建議。

流量與交易量很大的線上業務,也用不著這些權宜做法。分母夠大時,該用標準的實驗與檢定方法。這九個問答,只服務那些件數少、決定卻不能等的團隊。

← 回到新知列表