數據導向是個好原則，但它有適用條件：要有足夠的樣本、要能隔離變因、而且取得成本要低於決策價值。三個條件不成立的時候，堅持等數據會付出更高的代價，什麼都不做的代價。
先講一個常見的場景。一家公司每月有八十個詢問，想測試兩種報價方式哪一種轉換率高。以這個樣本量，要偵測出百分之五的差異，需要跑超過一年。等一年才決定的成本，遠高於直接選一個然後觀察的成本。
當樣本不足時，回到因果機制思考。問三個問題：這個改變會影響哪一個環節？那個環節目前的瓶頸是什麼？改變之後瓶頸會移到哪裡？如果推論的機制清楚，即使沒有統計顯著性，決策的可靠度也會比擲骰子高很多。
舉例。把詢價表單從十一欄改成四欄，機制上減少了填寫成本，瓶頸從「願不願意填」移到「填完之後資訊夠不夠判斷」。這個推論本身就足以支撐先做，然後觀察新的瓶頸是否出現。
把決策分成可逆與不可逆兩類。可逆的決定應該快速做、快速觀察、必要時撤回，不需要等資料。不可逆的決定才值得投入時間收集資訊。把兩者用同一套標準處理，是決策效率低落的主因。
八十個詢問跑不出統計顯著性，但八個深度訪談可以告訴你為什麼。質化資料無法證明比例，但可以揭露機制。在低頻生意裡，質化的資訊價值經常高於量化。
實作方式是：每月固定訪談三到五位客戶或潛在客戶，問開放性問題，記錄原話。三個月累積十五份紀錄之後，模式通常已經很清楚，而這個成本遠低於等待樣本累積。
把決策分成三層：日常的、可逆的小決定，用經驗與機制推論，不等資料；中等的、影響一季的決定，用質化訪談加上簡單的前後對照；重大的、不可逆的決定，才投入完整的資料收集與分析。
這樣分層之後，多數團隊會發現真正需要嚴謹分析的決定，一年不超過三到五個。把資源集中在那幾個上面，其餘用更快的方式處理，整體的決策品質反而會提高。
關於測試需要跑多久才有意義，站內的 樣本數與提早收手的代價 有具體的算法；決策過程本身的紀錄方式，可以參考 決策紀錄表。
以我們自己一年的決定來統計：完整量化分析的決定大約佔一成、質化訪談加前後對照的佔三成、機制推論加撤回條件的佔六成。也就是說，六成的決定是在沒有統計證據的情況下做的，而這是低頻生意的常態。
重點不是比例本身，而是每一個決定都明確知道自己用的是哪一種方法，以及那種方法的信心程度。把推論當成證據，才是真正的問題；知道自己在推論並設定撤回條件，這是負責任的做法。
第四項最常被省略。沒有指定人的觀察期，最後通常是無限延長，大家都覺得再看看，然後就沒有人再提起這件事。
每一個決定在紀錄時加一欄：依據類型。三個值，統計證據、質化觀察、機制推論。這一欄的價值在於半年後回顧時，你可以分別計算三種方法的準確率。
多數團隊的直覺是統計證據最準，但在低頻生意裡，質化觀察的準確率經常不輸統計，因為統計本身的樣本就不足。有了紀錄，這件事就不再是爭論，而是可以查證的。
當上級要求「數據支持」時，多數時候他要的不是統計顯著性，而是一個可以檢驗的推理過程。把機制推論寫成書面，假設是什麼、預期影響是什麼、要觀察哪個指標、什麼情況下撤回，通常就足以滿足這個要求。
這份書面文件同時解決了另一個問題：事後檢討時有依據。做對了知道為什麼對，做錯了知道錯在哪一個假設。這比事後回憶當時的想法要可靠得多。
實際格式很簡單：一頁，五段，現況、假設、預期、觀察指標、撤回條件。十五分鐘可以寫完。
最後一個提醒：資料的用途是縮小不確定性，不是消除它。任何宣稱可以完全消除不確定性的方法，通常只是把不確定性藏在假設裡。承認不確定並設定觀察條件，比假裝確定要負責得多。
把話收回到最實際的地方：數據該做的是縮小猜測的範圍，而不是取代判斷。當一個決策的可逆成本很低，你其實不需要等數據，直接做完再看結果比較快；當一個決策的可逆成本很高，數據也不會幫你背責任，你還是得為它負責。真正成熟的團隊會先把決策分成這兩類，再決定要花多少力氣量測。分類做對了，多數的數據焦慮就會自己消失，剩下來的才是值得認真跑的分析。