競品評論資料可以信到什麼程度？
評論資料可以用來找問題的類型與顧客使用的詞彙，不能用來估算問題發生的比例。可信到什麼程度，取決於每則評論能否確認購買、是否描述具體情境、是否能在其他公開來源找到對應。我們把評論分成四級，每一級只允許支援特定範圍的結論。
可信度分級指的是依來源條件與內容條件，替每一筆資料標上它能承擔多重結論的等級。這個做法借自情報工作的來源評等，我們把它簡化成行銷團隊用得上的版本。
這張分級表是在什麼樣的委託情境下做出來的？
委託方是一家線上課程平台，想知道主要對手的弱點在哪裡。他們內部已經做過一輪整理，結論是對手客服很差。依據是某個論壇上的幾篇長文，語氣激烈，轉貼很多。
我們接手後先問了一個問題：這幾篇長文的作者，買過對手的課嗎。沒有人能回答。團隊這才發現，他們把聲量最大的資料當成了最可靠的資料。
於是我們停下蒐集，先做分級表。表做好之後，原本的資料全部重新歸級，結論跟著改寫。
第一級評論需要符合哪些條件，可以支援什麼結論？
第一級是平台標示已購買，內容描述具體使用情境，並且有時間可查的評論。三個條件要同時成立。具體情境的意思是讀得出他在哪一個環節遇到什麼事，例如上到第三單元時影片無法載入，寫信後幾天才收到回覆。
- 來源條件：平台有已購買或已驗證的標示
- 內容條件：寫出環節、行為與結果，不只有形容詞
- 時間條件：評論日期可見，且落在觀察期內
- 可支援結論：這類問題確實發生過，可列入對手的已知摩擦點
第一級評論即使數量少，也可以寫進情報書的主文。但只能寫發生過，不能寫常發生。
第二級與第三級的差別在哪裡，為什麼不能合併？
第二級是內容具體，但無法確認購買身分的評論。常見於社群貼文與論壇。它描述得很像真的，卻沒有任何標示能證明作者是顧客。第三級是能確認購買，內容卻只有情緒與評分，沒有情境。
兩者不能合併，因為缺的東西不同。第二級缺的是身分，要靠其他來源交叉對應才能升級。第三級缺的是內容，再怎麼對應也補不出細節，它只能說明有人不滿意，說不出不滿意什麼。
在分級表裡，第二級評論若能找到至少一則第一級評論描述同一類問題，可以作為佐證寫入。單獨存在的第二級評論放在附錄，標記為待驗證線索。第三級評論只用來觀察評分隨時間的變化方向，不引用個別內容。
第四級評論為什麼要保留紀錄卻不能引用？
第四級是既無法確認身分，內容也不具體的留言。還包括明顯重複的文字、同一時段大量出現的相似句型，以及看得出與對手或同業有利害關係的帳號。
我們不刪除第四級，因為它的出現時間有時是線索。某一週突然湧入大量相似留言，這件事本身值得記一筆。但留言的內容不進入任何結論。
委託方原本倚重的那幾篇論壇長文，重新歸級後有一篇是第二級，其餘是第四級。客服很差這個結論因此被降為待驗證。後來在第一級評論裡找到的摩擦點，集中在退費流程的說明不清，和客服態度無關。
歸級時最容易卡住的是哪一步？
最容易卡住的是判斷內容夠不夠具體。兩個人看同一則評論，一個覺得具體，一個覺得只是抱怨。我們的做法是寫下判定句：這則評論能不能讓一個沒用過產品的人，指出問題發生在哪一個步驟。能，就算具體。
第二個卡點是平台標示的意義不一。有些平台的已購買標示很嚴格，有些只要註冊就能留言。所以每個來源在歸級前，要先寫一段來源說明，記下這個平台如何認定購買身分，以及我們查閱的日期。
第三個卡點是團隊想把喜歡的評論升級。有一則第二級評論寫得很精彩，剛好支持委託方想聽的方向。會議上有人提議破例放進主文。我們的規則是，升級只能靠補上缺的條件，不能靠投票。
分級之後，情報書的評論段落怎麼寫？
評論段落分三塊。第一塊列出由第一級支撐的摩擦點，每一點附上評論類型描述與日期範圍。第二塊列出待驗證線索，說明還缺什麼才能升級。第三塊是來源說明與排除紀錄。
- 先寫摩擦點的類型，再寫支撐它的評論等級與則數範圍
- 每個摩擦點附一句顧客原話的意思轉述，不逐字引用
- 標出這個摩擦點對應到對手哪一個流程環節
- 說明委託方若要利用這個弱點，自己需先具備什麼條件
- 列出被排除的資料類別與排除理由
我們不逐字引用評論，也不記錄留言者的帳號名稱或個人資料。情報書要的是問題的形狀，個別顧客是誰和判斷無關。
分級表實際套用一輪之後，團隊的討論方式有什麼改變？
最明顯的改變是會議上不再有人說網路上大家都在罵。這句話過去出現得很頻繁，沒有人能反駁，也沒有人能據此做事。分級之後，發言的人要先說自己引用的是第幾級的資料。講不出等級的意見，先記在白板角落，會後再查。
第二個改變是產品團隊開始願意看評論。過去他們覺得評論區情緒太多，看了只會被影響心情。現在他們只需要讀第一級的摘要，篇幅短，而且每一點都對應到流程環節。有一位產品負責人說，這是他第一次覺得評論可以拿來排工作順序。
第三個改變比較隱微。委託方開始用同一張表看自己的評論。他們發現自家平台上最用心寫的負評，多半也是第一級，而且指出的問題比對手的弱點更急著處理。這不在原本的委託範圍內，我們只在報告附註提了一句，由他們自己決定要不要往下做。
委託方自己接手維護分級表時，要注意哪些事？
情報書交付後，分級表會留給委託方持續使用。我們在交接說明裡寫了幾條維護規則，都是從實際出錯的地方整理來的。
- 每次新增評論來源，先寫來源說明再開始歸級，順序不能反過來
- 歸級的人與使用結論的人最好不是同一位，避免先有結論再找等級
- 每季重看一次判定句，確認團隊對具體的理解沒有悄悄放寬
- 升級與降級都要留下紀錄，寫明補上或失去了哪一個條件
- 觀察期以外的舊評論另外存放，不與當期資料混在同一張表
這些規則沒有一條困難，難的是持續做。我們建議指定一個人負責，並把每月更新排進固定的行事曆，不靠誰想起來。
這張分級表在哪些情況下不適用？
評論總數很少的產業不適用。企業對企業的服務常常只有零星幾則公開評價，分四級之後每一級都空空的，這時應該改看其他公開來源，例如對手的常見問題頁與服務條款變動。
委託方若想用評論證明對手違法或不實，也不適用。評論只能說明顧客的感受與遭遇，是否構成違規需交由當地持牌專業人士判斷。另外，平台若禁止以自動化方式大量擷取內容，我們只做人工抽樣閱讀，樣本有限這件事會寫在限制聲明的第一行。