數據與工具

問卷題目怎麼設計:八個常見偏誤與對應的修正寫法

問卷是最容易做、也最容易做壞的一種調查。做壞的問卷不會告訴你它壞了,它會產出一份看起來很正常的報表,然後你依據它做決定。這篇處理的是題目本身的設計。

先講一個原則:問卷測量的是「受訪者對問題的理解」加上「他願意揭露的部分」,不是客觀事實。所有設計技巧的目的,都是縮小這兩者與真實之間的落差。

偏誤一:引導性用詞

「您有多滿意我們貼心的服務?」這一題已經預設了服務是貼心的。修正是移除所有形容詞:「您對這次服務的整體滿意度是?」形容詞在問句裡幾乎總是引導。

偏誤二:雙重問題

「您認為價格合理且交付準時嗎?」受訪者若認為價格合理但交付遲了,無法回答。修正是拆成兩題。任何包含「且」「以及」「和」的問句都要檢查。

偏誤三:預設立場

「您通常多久使用一次本服務?」預設了受訪者有在使用。修正是先問是否使用,再依答案分支。這種預設在問卷裡非常普遍,也是資料失真的主要來源之一。

偏誤四:選項不互斥或不完整

年齡選項寫成二十到三十、三十到四十,三十歲的人不知道選哪個。或是問來源時漏了「朋友介紹」這個實際上最大的來源。修正是檢查選項是否互斥且窮盡,並在必要時提供「其他,請說明」。

偏誤五:量表設計問題

  • 中間選項過多:五點量表通常足夠,七點以上會增加認知負擔。
  • 沒有標示每一點的意義:只標兩端會讓中間的解讀因人而異。
  • 正反向題混用卻沒有提示:容易造成填答錯誤。

偏誤六:回憶負擔過重

「過去一年您總共花了多少?」多數人答不出來,只能猜。修正是縮短回憶期間,或改問最近一次的具體金額。回憶期間越長,資料誤差越大。

偏誤七:社會期望效應

涉及道德、能力、財務的題目,受訪者會傾向給出「應該的」答案。修正的方式有三種:改成第三人稱(「一般人在這種情況下通常會⋯⋯」)、提供匿名保證、或是把敏感選項放在中間而非兩端。

偏誤八:題序影響

前面的題目會影響後面的回答。問完「您覺得價格貴嗎」再問整體滿意度,滿意度會被拉低。修正是把整體性的題目放在最前面,細項評價放在後面,敏感題與人口統計題放在最後。

一份問卷的結構建議

  1. 篩選題:確認受訪者符合條件,一到兩題。
  2. 整體評價:先問整體印象,避免被細項污染。
  3. 細項評價:分項的具體題目。
  4. 開放題:一到兩題,讓受訪者說出你沒想到的事。
  5. 人口統計與敏感題:放最後,此時受訪者已有投入感。

題數與完成率

題數與完成率呈明顯的負相關。經驗上十題以內完成率最好,超過二十題會大幅下降,而且後段題目的填答品質會惡化。如果一定要長,把最重要的題目放在前半。

發出去之前一定要做的一件事

找三到五個符合目標條件的人,請他們一邊填一邊說出在想什麼。這個過程通常會發現兩到三個你完全沒預期的理解落差。半小時的測試,可以避免一份無效的問卷。

若你的需求是質化的深度理解而不是比例估計,訪談會比問卷合適。相關做法可以參考站內的 贏輸訪談的八個問題。

一份實際的十題問卷結構

第一題篩選:您在過去六個月內是否使用過這類服務。第二題整體評價:整體而言您的滿意程度。第三到第六題細項:價格、交付速度、溝通、成果各一題。第七題開放:如果只能改一件事,您希望是什麼。第八題推薦意願。第九題與第十題人口統計。

這個結構的重點是第七題。它放在細項之後、人口統計之前,此時受訪者已經完整回想過整個經驗,答案的具體度最高。把開放題放在第一題,通常只會得到空白或一句客套話。

回收之後怎麼分析

  1. 先看完成率與各題的跳出點,跳出集中的那一題通常設計有問題。
  2. 量化題看分布而不只看平均,特別注意雙峰分布。
  3. 開放題先做編碼分類,再統計次數,不要只挑幾則來看。
  4. 把量化與開放交叉:低分的人在開放題寫了什麼,這是最有價值的組合。

第四項經常被跳過,卻是最能找出改善方向的一步。

發送與催收

發送時間影響完成率。以 B2B 對象來說,週二到週四的上午通常最好。催收最多兩次,間隔三到五天,第二次要提供新的理由,例如「調查即將結束」或補充說明用途。

完成率低於三成時,先檢查的不是催收次數,是題數與第一題。多數放棄發生在前兩題,通常是因為第一題太難回答或太個人。把最容易回答的題目放第一題,完成率經常會明顯改善。

問卷之外的補充方法

問卷擅長估計比例,不擅長解釋原因。當問卷結果出現意外時,正確的下一步不是再發一份問卷,而是找五到八位受訪者做二十分鐘的訪談,問他們當時是怎麼理解那一題的。

這種混合方法的效率很高:問卷告訴你「有多少比例的人這樣覺得」,訪談告訴你「為什麼」。兩者加起來,才足以支撐決策。

要注意的是訪談對象應該從問卷回覆者中挑選,並且涵蓋不同的答案類型。只訪談給高分的人,會得到完全偏頗的解釋。

最後一個提醒:問卷測量的是人對問題的理解,不是客觀事實。這個限制無法消除,只能透過設計縮小。理解這一點,才不會把問卷結果當成真理。

另外值得一提的是問卷的發佈管道。同一份問卷用電子郵件寄給既有客戶、和放在網站上讓任何人填寫,得到的樣本結構完全不同。管道本身就是一種篩選,因此在解讀結果時必須把管道寫進限制說明裡,否則很容易把某一群人的意見當成全體的意見。

再提醒一個測試步驟:問卷正式發送之前,找三個符合目標樣貌但不熟悉這個專案的人試填,並請他們邊填邊講出在想什麼。你會聽到一些題目被理解成完全不同的意思,也會發現某些選項根本沒有涵蓋他們的實際狀況。這個動作只要一小時,卻能避免整份問卷收回來之後才發現有兩題不能用。事後補救的成本,永遠高於事前的三個人。

← 回到新知列表