以下對話整理自一次文字溝通,提問的是一位帶十二人業務團隊的主管,他們公司做餐飲業的排班系統。對話經過改寫與去識別化,保留了原本的提問順序。
沒有單一的標準答案。樣本數夠不夠,取決於你要比較的最小一群人有多少份,以及你的決定能容忍多大的誤差。實務上先決定要切成幾群來比較,每一群都收到足以看出差異的份數,總數是最後才算出來的結果。
下面用問答的形式,把這段話拆開來講。問是業務主管,答是研究員。
問:我們上次發問卷收了兩百多份,老闆說太少。這次收到五百份可以嗎?
答:先別談總數。請告訴我,問卷收回來以後,你們要拿來做哪個決定?
問:要決定新功能先給連鎖店還是單店。我們想知道兩種店對自動排班的需求差多少。
答:那關鍵是連鎖店有幾份、單店有幾份。假設五百份裡有四百七十份來自單店,連鎖店只有三十份,你對單店知道得很清楚,對連鎖店幾乎一無所知。這時候總數再加一千份單店也沒有用。
問:所以要兩邊一樣多?
答:不必一樣多,但少的那一邊要夠。如果之後還想把連鎖店再分成五家以下與五家以上,那每一小群都要夠。切得越細,需要的總數越多。所以我們會請委託方在發問卷之前,先畫出報告裡預計出現的那幾張比較表,表裡有幾格,就知道要顧幾群。
問:那每一群要幾份?給我一個數字。
答:我可以給你判斷方式,給單一數字會誤導你。抽樣誤差的意思是,同樣的問卷重新發一次,結果可能上下跳動的範圍。份數越少,跳動越大。一群只有二三十份的時候,一兩個人改變答案,百分比就會差很多。一群有上百份,跳動會明顯收斂。再往上加,改善的幅度會越來越小。
問:所以上百份就夠了?
答:要看兩群的差距有多大。如果連鎖店有八成想要、單店只有三成,差距這麼大,每群幾十份就看得出來。如果是五成五對五成,差距很小,每群要收到幾百份才敢說真的有差。所以你要先問自己:差多少,才會讓我改變決定?如果差一點點你不會改變做法,那就不需要花錢去量那一點點。確切的份數可以用統計公式或線上的樣本數計算工具算,我們在報告裡會附上計算條件。
問:我們是把問卷連結放在產品後台和粉絲頁,這樣可以嗎?
答:這是我最擔心的地方。從後台填的人,是已經在用你們系統的人。從粉絲頁填的人,是已經喜歡你們的人。你想知道的卻是還沒買的店家怎麼想。這叫做涵蓋偏差,意思是你想了解的人,有一大塊根本沒有機會填到問卷。
問:那多收一點可以彌補嗎?
答:彌補不了。同一個偏的來源收一萬份,還是偏的,只會讓你更有信心地相信一個錯的數字。做法是增加管道。例如透過餐飲同業的社團、食材供應商的通訊名單、實地到商圈發放。然後在問卷裡加一題,問對方目前用什麼方式排班,之後就能把既有客戶與非客戶分開看。
問:收回來的全部都能用嗎?
答:通常要剔掉一部分。我們在分析前會做四種檢查。
問:剔除標準是誰決定的?剔太多老闆會覺得我們在挑資料。
答:所以標準要在發問卷之前寫好,並且寫進報告。收到資料才訂標準,就有挑資料的嫌疑。報告裡要列出回收幾份、每一種原因各剔除幾份、最後分析幾份。這三個數字擺在第一頁,讀的人自己可以判斷。
問:如果我們管道有限,最後只收到四十份呢?
答:四十份還是有用,只是用法要換。它不適合拿來算百分比與比較分群,適合拿來做三件事。第一,看開放題的原話,找出你們沒想到的理由。第二,看有沒有極端一致的答案,例如四十家裡有三十八家都說排班是店長用通訊軟體群組喊的,這種一面倒的結果不需要大樣本也能相信方向。第三,當成下一輪正式問卷的試測,把看不懂的題目改掉。
報告裡的寫法也要跟著改。寫「四十家裡有三十一家」,別寫成百分比。百分比會讓讀者以為背後有幾百份。
問:那我回去要請團隊做什麼?
答:按這個順序做。
最後一步最常被忽略。大家習慣等截止日才看數字,那時候才發現連鎖店只有十幾份,已經來不及補。
問:題目怎麼寫,跟要收幾份有關係嗎?
答:有關係。題目寫得含糊,同一群人的答案會很分散,分散的資料需要更多份數才看得出型態。舉例來說,問「您對排班是否感到困擾」,每個人對困擾的標準不同。改成「上個月有幾次是在班表公布後又臨時調整」,答案是可以數的事實,分散程度會小很多。
問:開放題要放嗎?填的人會嫌麻煩。
答:放一到兩題就好,位置擺在中後段。開放題的填答率一定比較低,這很正常。它的用途是補上你沒想到的選項。分析時別去算開放題的百分比,把相近的回答歸類,數出各類出現幾次,並挑幾句原話放進報告。
問:問卷多長比較合適?
答:以填答者在手機上五到八分鐘內能完成為準。超過這個長度,後半段的直線作答會明顯增加,等於你收了很多份,後半份卻不能用。題目太多的時候,先回到那幾張預計要出現的比較表,表裡用不到的題目就刪掉。
問:最後一個問題。結果出來,如果兩群看起來差不多呢?
答:那也是一個有用的答案。它告訴你連鎖店與單店對這項功能的需求沒有明顯不同,優先順序可以改用別的條件來排,例如導入的難易或業務的人力。報告裡要照實寫沒有看到差異,並附上各群的份數,讓讀的人知道這個結論的把握程度。別為了讓報告好看,硬從小差距裡說出一個故事。
以上談的是用來支撐內部商業決策的問卷。有三種情況需要更嚴格的做法。
第一,結果要對外發佈,例如寫成產業報告或新聞稿。這時需要隨機抽樣或經過加權的樣本,並完整揭露抽樣方法,方便式回收的問卷不宜對外宣稱代表市場。第二,母體本身很小,例如全台灣只有幾十家符合條件的企業客戶,這時該做的是逐家訪談或普查,問卷抽樣的邏輯用不上。第三,結果會用在法律爭議或主管機關申報上,抽樣與分析方式需交由具資格的統計與法律專業人士設計與確認。
另外,如果連要做什麼決定都還沒有共識,多少份都不夠。先把決定寫出來,樣本數的問題才會有答案。