市場調研

問卷樣本數要多少才夠:研究員與業務主管的十一段問答

以下對話整理自一次文字溝通,提問的是一位帶十二人業務團隊的主管,他們公司做餐飲業的排班系統。對話經過改寫與去識別化,保留了原本的提問順序。

問卷樣本數要多少才夠,有沒有一個標準答案

沒有單一的標準答案。樣本數夠不夠,取決於你要比較的最小一群人有多少份,以及你的決定能容忍多大的誤差。實務上先決定要切成幾群來比較,每一群都收到足以看出差異的份數,總數是最後才算出來的結果。

下面用問答的形式,把這段話拆開來講。問是業務主管,答是研究員。

第一到第三問:為什麼總數不重要,最小的那一群才重要

問:我們上次發問卷收了兩百多份,老闆說太少。這次收到五百份可以嗎?

答:先別談總數。請告訴我,問卷收回來以後,你們要拿來做哪個決定?

問:要決定新功能先給連鎖店還是單店。我們想知道兩種店對自動排班的需求差多少。

答:那關鍵是連鎖店有幾份、單店有幾份。假設五百份裡有四百七十份來自單店,連鎖店只有三十份,你對單店知道得很清楚,對連鎖店幾乎一無所知。這時候總數再加一千份單店也沒有用。

問:所以要兩邊一樣多?

答:不必一樣多,但少的那一邊要夠。如果之後還想把連鎖店再分成五家以下與五家以上,那每一小群都要夠。切得越細,需要的總數越多。所以我們會請委託方在發問卷之前,先畫出報告裡預計出現的那幾張比較表,表裡有幾格,就知道要顧幾群。

第四到第五問:每一群到底要幾份,誤差又是什麼意思

問:那每一群要幾份?給我一個數字。

答:我可以給你判斷方式,給單一數字會誤導你。抽樣誤差的意思是,同樣的問卷重新發一次,結果可能上下跳動的範圍。份數越少,跳動越大。一群只有二三十份的時候,一兩個人改變答案,百分比就會差很多。一群有上百份,跳動會明顯收斂。再往上加,改善的幅度會越來越小。

問:所以上百份就夠了?

答:要看兩群的差距有多大。如果連鎖店有八成想要、單店只有三成,差距這麼大,每群幾十份就看得出來。如果是五成五對五成,差距很小,每群要收到幾百份才敢說真的有差。所以你要先問自己:差多少,才會讓我改變決定?如果差一點點你不會改變做法,那就不需要花錢去量那一點點。確切的份數可以用統計公式或線上的樣本數計算工具算,我們在報告裡會附上計算條件。

第六到第七問:問卷從哪裡回收,比收幾份影響更大

問:我們是把問卷連結放在產品後台和粉絲頁,這樣可以嗎?

答:這是我最擔心的地方。從後台填的人,是已經在用你們系統的人。從粉絲頁填的人,是已經喜歡你們的人。你想知道的卻是還沒買的店家怎麼想。這叫做涵蓋偏差,意思是你想了解的人,有一大塊根本沒有機會填到問卷。

問:那多收一點可以彌補嗎?

答:彌補不了。同一個偏的來源收一萬份,還是偏的,只會讓你更有信心地相信一個錯的數字。做法是增加管道。例如透過餐飲同業的社團、食材供應商的通訊名單、實地到商圈發放。然後在問卷裡加一題,問對方目前用什麼方式排班,之後就能把既有客戶與非客戶分開看。

第八到第九問:回收回來的問卷,哪些要先剔除

問:收回來的全部都能用嗎?

答:通常要剔掉一部分。我們在分析前會做四種檢查。

  • 填答時間過短:整份問卷用遠低於正常閱讀所需的時間填完
  • 直線作答:所有量表題都勾同一個選項
  • 資格不符:篩選題顯示對方並非餐飲業者或沒有排班權限
  • 重複填答:同一裝置或同一聯絡資訊出現多次

問:剔除標準是誰決定的?剔太多老闆會覺得我們在挑資料。

答:所以標準要在發問卷之前寫好,並且寫進報告。收到資料才訂標準,就有挑資料的嫌疑。報告裡要列出回收幾份、每一種原因各剔除幾份、最後分析幾份。這三個數字擺在第一頁,讀的人自己可以判斷。

第十問:只收到四十份,這份問卷就沒有用了嗎

問:如果我們管道有限,最後只收到四十份呢?

答:四十份還是有用,只是用法要換。它不適合拿來算百分比與比較分群,適合拿來做三件事。第一,看開放題的原話,找出你們沒想到的理由。第二,看有沒有極端一致的答案,例如四十家裡有三十八家都說排班是店長用通訊軟體群組喊的,這種一面倒的結果不需要大樣本也能相信方向。第三,當成下一輪正式問卷的試測,把看不懂的題目改掉。

報告裡的寫法也要跟著改。寫「四十家裡有三十一家」,別寫成百分比。百分比會讓讀者以為背後有幾百份。

第十一問:業務團隊在發問卷之前該準備什麼

問:那我回去要請團隊做什麼?

答:按這個順序做。

  1. 寫下這份問卷要支撐的一個決定,以及差多少才會改變做法
  2. 畫出報告裡預計出現的比較表,數一數有幾群要比
  3. 盤點每一群的回收管道,至少兩種以上,並標出哪些管道只接觸得到既有客戶
  4. 問卷前段放篩選題與分群題,中段放一題注意力檢查題
  5. 先寫好剔除標準
  6. 找五位目標對象試填,請他們邊填邊說出哪裡卡住
  7. 正式發放後每兩天看一次各群的回收數,少的那一群要追加管道

最後一步最常被忽略。大家習慣等截止日才看數字,那時候才發現連鎖店只有十幾份,已經來不及補。

補充問答:問卷題目本身會不會影響需要的份數

問:題目怎麼寫,跟要收幾份有關係嗎?

答:有關係。題目寫得含糊,同一群人的答案會很分散,分散的資料需要更多份數才看得出型態。舉例來說,問「您對排班是否感到困擾」,每個人對困擾的標準不同。改成「上個月有幾次是在班表公布後又臨時調整」,答案是可以數的事實,分散程度會小很多。

問:開放題要放嗎?填的人會嫌麻煩。

答:放一到兩題就好,位置擺在中後段。開放題的填答率一定比較低,這很正常。它的用途是補上你沒想到的選項。分析時別去算開放題的百分比,把相近的回答歸類,數出各類出現幾次,並挑幾句原話放進報告。

問:問卷多長比較合適?

答:以填答者在手機上五到八分鐘內能完成為準。超過這個長度,後半段的直線作答會明顯增加,等於你收了很多份,後半份卻不能用。題目太多的時候,先回到那幾張預計要出現的比較表,表裡用不到的題目就刪掉。

問:最後一個問題。結果出來,如果兩群看起來差不多呢?

答:那也是一個有用的答案。它告訴你連鎖店與單店對這項功能的需求沒有明顯不同,優先順序可以改用別的條件來排,例如導入的難易或業務的人力。報告裡要照實寫沒有看到差異,並附上各群的份數,讓讀的人知道這個結論的把握程度。別為了讓報告好看,硬從小差距裡說出一個故事。

這段問答裡的原則在哪些情況下不適用

以上談的是用來支撐內部商業決策的問卷。有三種情況需要更嚴格的做法。

第一,結果要對外發佈,例如寫成產業報告或新聞稿。這時需要隨機抽樣或經過加權的樣本,並完整揭露抽樣方法,方便式回收的問卷不宜對外宣稱代表市場。第二,母體本身很小,例如全台灣只有幾十家符合條件的企業客戶,這時該做的是逐家訪談或普查,問卷抽樣的邏輯用不上。第三,結果會用在法律爭議或主管機關申報上,抽樣與分析方式需交由具資格的統計與法律專業人士設計與確認。

另外,如果連要做什麼決定都還沒有共識,多少份都不夠。先把決定寫出來,樣本數的問題才會有答案。

← 回到新知列表