問卷是最容易做、也最容易做壞的一種調查。做壞的問卷不會告訴你它壞了,它會產出一份看起來很正常的報表,然後你依據它做決定。這篇處理的是題目本身的設計。
先講一個原則:問卷測量的是「受訪者對問題的理解」加上「他願意揭露的部分」,不是客觀事實。所有設計技巧的目的,都是縮小這兩者與真實之間的落差。
「您有多滿意我們貼心的服務?」這一題已經預設了服務是貼心的。修正是移除所有形容詞:「您對這次服務的整體滿意度是?」形容詞在問句裡幾乎總是引導。
「您認為價格合理且交付準時嗎?」受訪者若認為價格合理但交付遲了,無法回答。修正是拆成兩題。任何包含「且」「以及」「和」的問句都要檢查。
「您通常多久使用一次本服務?」預設了受訪者有在使用。修正是先問是否使用,再依答案分支。這種預設在問卷裡非常普遍,也是資料失真的主要來源之一。
年齡選項寫成二十到三十、三十到四十,三十歲的人不知道選哪個。或是問來源時漏了「朋友介紹」這個實際上最大的來源。修正是檢查選項是否互斥且窮盡,並在必要時提供「其他,請說明」。
「過去一年您總共花了多少?」多數人答不出來,只能猜。修正是縮短回憶期間,或改問最近一次的具體金額。回憶期間越長,資料誤差越大。
涉及道德、能力、財務的題目,受訪者會傾向給出「應該的」答案。修正的方式有三種:改成第三人稱(「一般人在這種情況下通常會⋯⋯」)、提供匿名保證、或是把敏感選項放在中間而非兩端。
前面的題目會影響後面的回答。問完「您覺得價格貴嗎」再問整體滿意度,滿意度會被拉低。修正是把整體性的題目放在最前面,細項評價放在後面,敏感題與人口統計題放在最後。
題數與完成率呈明顯的負相關。經驗上十題以內完成率最好,超過二十題會大幅下降,而且後段題目的填答品質會惡化。如果一定要長,把最重要的題目放在前半。
找三到五個符合目標條件的人,請他們一邊填一邊說出在想什麼。這個過程通常會發現兩到三個你完全沒預期的理解落差。半小時的測試,可以避免一份無效的問卷。
若你的需求是質化的深度理解而不是比例估計,訪談會比問卷合適。相關做法可以參考站內的 贏輸訪談的八個問題。
第一題篩選:您在過去六個月內是否使用過這類服務。第二題整體評價:整體而言您的滿意程度。第三到第六題細項:價格、交付速度、溝通、成果各一題。第七題開放:如果只能改一件事,您希望是什麼。第八題推薦意願。第九題與第十題人口統計。
這個結構的重點是第七題。它放在細項之後、人口統計之前,此時受訪者已經完整回想過整個經驗,答案的具體度最高。把開放題放在第一題,通常只會得到空白或一句客套話。
第四項經常被跳過,卻是最能找出改善方向的一步。
發送時間影響完成率。以 B2B 對象來說,週二到週四的上午通常最好。催收最多兩次,間隔三到五天,第二次要提供新的理由,例如「調查即將結束」或補充說明用途。
完成率低於三成時,先檢查的不是催收次數,是題數與第一題。多數放棄發生在前兩題,通常是因為第一題太難回答或太個人。把最容易回答的題目放第一題,完成率經常會明顯改善。
問卷擅長估計比例,不擅長解釋原因。當問卷結果出現意外時,正確的下一步不是再發一份問卷,而是找五到八位受訪者做二十分鐘的訪談,問他們當時是怎麼理解那一題的。
這種混合方法的效率很高:問卷告訴你「有多少比例的人這樣覺得」,訪談告訴你「為什麼」。兩者加起來,才足以支撐決策。
要注意的是訪談對象應該從問卷回覆者中挑選,並且涵蓋不同的答案類型。只訪談給高分的人,會得到完全偏頗的解釋。
最後一個提醒:問卷測量的是人對問題的理解,不是客觀事實。這個限制無法消除,只能透過設計縮小。理解這一點,才不會把問卷結果當成真理。
另外值得一提的是問卷的發佈管道。同一份問卷用電子郵件寄給既有客戶、和放在網站上讓任何人填寫,得到的樣本結構完全不同。管道本身就是一種篩選,因此在解讀結果時必須把管道寫進限制說明裡,否則很容易把某一群人的意見當成全體的意見。
再提醒一個測試步驟:問卷正式發送之前,找三個符合目標樣貌但不熟悉這個專案的人試填,並請他們邊填邊講出在想什麼。你會聽到一些題目被理解成完全不同的意思,也會發現某些選項根本沒有涵蓋他們的實際狀況。這個動作只要一小時,卻能避免整份問卷收回來之後才發現有兩題不能用。事後補救的成本,永遠高於事前的三個人。