資料表顯示對手本月有七則與擴張有關的消息。逐一打開後,七則講的是同一場發表會。這份清單處理的就是這種狀況,請在每次彙整週報前跑一遍。
同一個事件被多個管道轉述後,如果每一則都算一筆,訊號強度會被高估,分析者會把一次公告誤讀成持續的動作。做法是以「事件」為單位合併,找出最接近源頭的那一筆當主紀錄,其餘標為轉述並連回主紀錄,不直接刪除。
去重在這裡的定義是,辨識出描述同一事件的多筆資料,並把它們歸成一組,讓統計時只計一次。它和刪除重複列不同,刪除會丟掉「這件事被多少管道轉述」這項資訊,而這項資訊本身有分析價值。
清單分成四段,共十六項。前三段每週做,第四段每月做。
在資料進表的當下攔住重複,成本最低。
第三項需要資料表有「事件日期」這一欄。很多表只有一個日期欄,記的是擷取日。沒有事件日期,去重幾乎做不了。
資料已經在表裡時,用這五項找出同一事件的多筆紀錄。
第二項的輔助欄值得多說一句。試算表的條件式格式可以把重複值標出顏色。把引述摘句放在單獨一欄,套上重複值標示,同源的資料會自己亮起來。這是不寫程式也能做到的半自動比對。
第五項最需要判斷力。一場發表會之後,對手主管接受訪談,補充了上市時程。這算同一事件還是新事件?我的處理是歸在同一事件組,但把這一筆標為「有新增事實」,並在主紀錄的摘要補上那項新事實。
找到重複之後,不要急著刪。照以下四項處理。
保留轉述紀錄有兩個用處。第一,轉述的數量與管道,反映了這則消息的擴散範圍,可以當成對手公關力道的參考,雖然只能是參考。第二,日後有人拿著其中一則轉述來問「這個你們有沒有收到」,你可以立刻回答已收並指出它屬於哪個事件。
主紀錄的選擇偶爾會遇到一個難題:找不到源頭。所有管道都說「據了解」,沒有任何一筆是對方自己說的。這種情況下,整個事件組的可信程度都要標成「未經證實」,轉述再多也不能提高它的可信度。五個管道重複同一個沒有出處的說法,仍然只是一個沒有出處的說法。
誤併比漏併更難發現。兩件相近但不同的事被併成一件,會讓一個真實的訊號消失。最容易誤併的情況是,對手在短時間內連續做了兩個相似的動作,例如同一個月調整了兩個不同方案的內容。抽查時要特別看日期相近、主題相近的組。
為了執行這份清單,原有的競業資料表至少要補上這幾欄。
合併備註常被省略。我堅持要寫,是因為合併是一個判斷,判斷可能出錯。三個月後有人質疑為什麼這兩筆算同一件事,備註是唯一的依據。寫法很短,例如「引述相同,事件日期相同,併入」。
週報的讀者通常只想知道發生了幾件事。所以計數欄要寫事件數。轉述數放在括號或另一欄,並加上一句說明。
我見過一份週報寫「對手本週曝光量大增,相關消息十一則」。會議上,主管據此認為對手正在加大市場投入。回頭查,十一則裡有九則是同一篇稿件的轉載。正確的寫法是「本週新增事件兩件,其中一件被九個管道轉述」。兩種寫法傳達的判斷完全不同。
這也是為什麼去重不能只當成資料清理的雜務。它直接影響報告上的那個數字,而那個數字會被拿去做決定。
第一個問題是,對手自己在不同管道重複發佈同一則內容,算不算重複。例如官網公告、電子報、社群公開貼文講的是同一件事。我的處理是算同一事件,主紀錄選內容最完整的那一份,通常是官網公告。其他管道標為轉述,但在備註註明是對手自行發佈。對手選擇在哪些管道同步發佈,反映了他重視哪些受眾,這一點可以寫進分析,只是不能當成多個事件。
第二個問題是,舊資料要不要回頭全部去重。答案是看用途。如果舊資料會被拿來做跨期比較,例如比較今年與去年同期的事件數,就必須用同一套規則回頭處理,否則兩期的計數基礎不同,比較沒有意義。如果舊資料只是存檔備查,可以不處理,但要在資料表的說明分頁寫明從哪一天起才適用去重規則,避免日後有人把兩段資料直接相加。
清單靠人工判斷,適合每週新增幾十筆資料的規模。每週新增上千筆時,人工比對不可行,需要文字相似度的自動化處理,這超出本文範圍。
研究問題本身就是「聲量」的時候,例如要評估某則消息的擴散程度,轉述數才是主角,計數邏輯要反過來設計。另外,清單只處理公開來源的文字資料。圖片、影片內容的重複辨識需要不同的做法。最後要提醒,去重只能減少重複計算,不能驗證消息的真假,查證是另一道工序,兩者不能互相取代。