翻到一份調研報告的最後一頁，「研究限制」只有兩行：樣本數有限，結果僅供參考。這兩行什麼都沒說。讀者想知道的是偏向哪一邊、偏多少、哪幾條結論受影響。以下盤點八種該寫卻常被略過的情況。
逐項寫出三件事：樣本缺了哪一種人、這會讓結論偏向哪個方向、哪幾條結論因此要打折。只寫「樣本有限」不算揭露。揭露的目的是讓讀者自己能判斷，結論可以推到多遠。
樣本偏誤的定義：實際受訪或填答的人，和你想了解的那一群人，在某些重要特徵上有系統性的差異。重點在「系統性」，隨機的誤差會互相抵銷，系統性的偏差不會。
原因有三個，我們都遇過。
第一，研究員擔心寫得越多，客戶越不信報告。實際情況相反。交付會議上，客戶自己找到樣本的問題，與報告先講出來，兩種情境下的信任差很多。
第二，委託方的窗口不希望寫。他要拿報告向上呈報，限制寫多了怕被質疑。我們遇到這種要求時，會說明限制段落屬於報告的必要部分，可以調整措辭，不能刪除。
第三，研究員自己沒想過。偏誤要在設計階段就記錄，等到寫報告才回想，多半已經想不起名單是怎麼湊出來的。
第一種叫倖存者偏誤，意思是樣本只包含通過某個篩選而留下來的對象。訪談現有客戶，就聽不到流失與未成交的人。問還在營業的業者，就聽不到已經退出市場的原因。
它的影響方向很明確：結論偏樂觀。揭露寫法：「受訪者均為現有客戶，未包含已終止合作者。關於滿意度與續約意願的發現，應視為偏高的估計。」
第二種叫自我選擇偏誤，意思是受訪者是自己決定要不要參加的。願意回覆邀請、願意填完問卷的人，往往對主題特別有興趣，或特別有意見。
影響方向是放大極端。非常滿意與非常不滿的聲音都被放大，沒有感覺的多數沉默。揭露寫法：寫出邀請幾位、回覆幾位，並說明未回覆者可能的特徵。
第三種是管道偏誤。全部受訪者來自同一個社群或同一份名單，他們會共有那個管道的特徵。從專業論壇招來的人，比一般使用者更熟悉產品，也更挑剔。
揭露寫法：列出每個管道各招募到幾位。再檢查一件事：有沒有哪一條結論，只由同一管道的受訪者支持。有的話，在那條結論旁邊直接註明。
第四種出在轉介。受訪者介紹的人，通常和他同圈子、同看法。一路轉介下去，十位受訪者可能其實只代表一個小圈子。
揭露寫法：在名單紀錄上標出誰介紹誰。報告寫明「其中某幾位經由同一位受訪者轉介，觀點的獨立性有限」。分析時，把同一串轉介來的人視為一組來看。
第五種是訪談者效應。訪談者是誰，會影響受訪者怎麼回答。由業務人員去訪談自己的客戶，客戶多半客氣。由創辦人親自訪談，對方很難當面批評。
影響方向同樣偏正面。揭露寫法：寫明訪談由誰執行、與受訪者的關係，以及受訪者是否知道委託方的身分。這三項很少有報告會寫，卻直接決定答案的可信程度。
第六種是受訪者與決策者不同人。問到的是使用者，掏錢的是主管。問到的是主管，實際操作的是基層。兩者的在意點不同。
揭露寫法：依角色列出受訪人數，例如使用者幾位、核准預算者幾位。如果某個角色一位都沒有，凡是涉及該角色的結論，都要標示為推測。關於價格接受度的發現，沒有訪到付款者就不能下結論。
第七種是時間偏誤。調研在某個特殊時點進行，例如旺季、產業剛發生重大事件、或受訪者剛簽約不久。那個時點的反應，不能代表平常。
揭露寫法：寫明資料蒐集的起訖日期，以及期間是否有已知的特殊事件。剛簽約的客戶正處於蜜月期，這一點要註明。
第八種發生在分析階段，嚴格說是引用偏誤，但它和樣本偏誤的後果相同。研究員整理訪談時，傾向引用說得生動、說得完整的受訪者。口才好的人，在報告裡的分量遠超過他在樣本裡的比例。
檢查方法很簡單：數一數報告裡的引述各出自哪位受訪者。如果一半以上的引述來自同兩三位，就要回頭補上其他人的說法，或在報告註明。這一項我們在審稿時固定會查。
我們把限制說明寫成一張表，放在方法章節之後、結論之前。放在結論之前是刻意的，讀者帶著對樣本的理解去讀結論。
第五項常被忽略。只列受影響的結論，讀者會以為整份報告都不可靠。說清楚哪些結論不受這些缺口影響，報告才用得起來。
第六項則把限制轉成下一步。客戶讀到這裡，可以自己決定值不值得再花一筆預算補強。
從招募第一位受訪者那天開始。我們的名單紀錄表有一欄叫「偏離紀錄」，凡是和原計畫不同的事都寫進去。
每一筆只要一行字。寫報告時，這一欄直接整理成限制說明。沒有這一欄，限制段落就只剩那兩行套話。
最容易卡住的是時程壓力。招募不順，團隊急著湊滿人數，放寬條件時沒有人記錄。我們的規則是：放寬可以，不記錄不行。
能用，而且更好用。揭露偏誤並不等於否定結論。它劃出結論的適用範圍。
「現有客戶重視回覆速度」這條結論，在樣本只有現有客戶的前提下，完全成立，也足以指導客戶服務的改善。它只是不能拿去推論未成交的人也這樣想。
會議上有人問「所以這份報告到底準不準」時，我們的回答是：在寫明的範圍內可以依據，範圍之外請當作線索。這比一句「僅供參考」負責得多。
以上八種情況適用於以訪談和小規模問卷為主的商業調研。採用機率抽樣的大型調查，有專門的加權與誤差估計方法，應由統計專業人員處理，本文的做法不足以取代。
揭露也有它的極限。它能說明偏向的方向，通常說不出偏了多少。讀者不應期待限制段落給出修正後的數字。
最後，揭露救不了設計上的根本缺陷。調研問題問的是流失原因，樣本裡卻一位流失客戶都沒有，這時該做的是補訪或縮小結論，寫再多限制說明也無法讓結論成立。