數據與工具

同一則競業消息被重複計算:十六項情報去重檢查清單

資料表顯示對手本月有七則與擴張有關的消息。逐一打開後,七則講的是同一場發表會。這份清單處理的就是這種狀況,請在每次彙整週報前跑一遍。

競業情報資料為什麼需要去重,要怎麼做?

同一個事件被多個管道轉述後,如果每一則都算一筆,訊號強度會被高估,分析者會把一次公告誤讀成持續的動作。做法是以「事件」為單位合併,找出最接近源頭的那一筆當主紀錄,其餘標為轉述並連回主紀錄,不直接刪除。

去重在這裡的定義是,辨識出描述同一事件的多筆資料,並把它們歸成一組,讓統計時只計一次。它和刪除重複列不同,刪除會丟掉「這件事被多少管道轉述」這項資訊,而這項資訊本身有分析價值。

清單分成四段,共十六項。前三段每週做,第四段每月做。

第一段:收進資料表之前的四項檢查

在資料進表的當下攔住重複,成本最低。

  1. 先搜尋再新增。新增一筆前,用對象代號加一個關鍵詞在表內搜尋近三十天的資料。看到相似的就先打開確認。
  2. 確認這筆資料有沒有標示出處。轉載文章通常會寫「據某處報導」或「某公司表示」。有標示的,直接去找它引用的那一份。
  3. 確認事件日期。事件日期是事情發生的日子,擷取日期是你看到的日子。兩則消息擷取日期差了一週,事件日期相同,就很可能是同一件事。
  4. 確認內容是不是新聞稿改寫。多家媒體同一天刊出結構相近、引述相同的報導,來源多半是同一份對外發佈的稿件。

第三項需要資料表有「事件日期」這一欄。很多表只有一個日期欄,記的是擷取日。沒有事件日期,去重幾乎做不了。

第二段:辨識重複的五項檢查

資料已經在表裡時,用這五項找出同一事件的多筆紀錄。

  1. 依對象代號與事件日期排序。同一對象、同一天或相鄰兩三天的資料會排在一起,用眼睛掃過就能看到群聚。
  2. 比對引述。把每筆資料裡被引用的發言摘出一句,貼在輔助欄。引述相同的,來源相同。
  3. 比對數字與專有名詞。同一事件的不同報導,提到的產品名稱、地點、時間通常一致。
  4. 留意標題不同但內文相同的情況。轉載時改標題很常見,只看標題會漏掉。
  5. 留意同一事件的後續發展。隔週出現的補充報導,可能是同一事件的延伸,也可能是新事件。判斷標準是有沒有新的事實,只有新的評論不算新事件。

第二項的輔助欄值得多說一句。試算表的條件式格式可以把重複值標出顏色。把引述摘句放在單獨一欄,套上重複值標示,同源的資料會自己亮起來。這是不寫程式也能做到的半自動比對。

第五項最需要判斷力。一場發表會之後,對手主管接受訪談,補充了上市時程。這算同一事件還是新事件?我的處理是歸在同一事件組,但把這一筆標為「有新增事實」,並在主紀錄的摘要補上那項新事實。

第三段:合併與標記的四項檢查

找到重複之後,不要急著刪。照以下四項處理。

  1. 指定主紀錄。同一事件組裡,選最接近源頭的一筆。優先順序是對方自己發佈的公開內容、第一手報導、轉載、社群轉貼。
  2. 給事件組一個編號。新增「事件編號」欄,同組的每一筆填同一個號碼。
  3. 標記角色。新增「紀錄角色」欄,選項為主紀錄、轉述、延伸。統計事件數量時只計主紀錄。
  4. 在主紀錄記下轉述數量與管道類型。例如「另有四則轉述,三則為產業媒體,一則為社群公開貼文」。

保留轉述紀錄有兩個用處。第一,轉述的數量與管道,反映了這則消息的擴散範圍,可以當成對手公關力道的參考,雖然只能是參考。第二,日後有人拿著其中一則轉述來問「這個你們有沒有收到」,你可以立刻回答已收並指出它屬於哪個事件。

主紀錄的選擇偶爾會遇到一個難題:找不到源頭。所有管道都說「據了解」,沒有任何一筆是對方自己說的。這種情況下,整個事件組的可信程度都要標成「未經證實」,轉述再多也不能提高它的可信度。五個管道重複同一個沒有出處的說法,仍然只是一個沒有出處的說法。

第四段:每月一次的三項回顧檢查

  1. 抽查事件組。隨機挑五個事件編號,確認組內每一筆確實是同一件事,沒有被誤併。
  2. 檢查孤立紀錄。篩選事件編號為空白的列,確認它們真的是獨立事件,沒有漏分組。
  3. 對照週報裡的計數。回頭看當月每一份週報寫的「本週某類訊號幾則」,確認計的是事件數,沒有把轉述算進去。

誤併比漏併更難發現。兩件相近但不同的事被併成一件,會讓一個真實的訊號消失。最容易誤併的情況是,對手在短時間內連續做了兩個相似的動作,例如同一個月調整了兩個不同方案的內容。抽查時要特別看日期相近、主題相近的組。

資料表需要新增的欄位整理

為了執行這份清單,原有的競業資料表至少要補上這幾欄。

  • 事件日期:事情發生的日期,與擷取日期分開
  • 事件編號:同一事件的資料共用
  • 紀錄角色:主紀錄、轉述、延伸
  • 引述摘句:摘一句被引用的發言,供重複值比對
  • 原始出處說明:這筆資料自己標示的消息來源,沒有標示就寫未標示
  • 合併備註:何時、由誰、依什麼理由併入事件組

合併備註常被省略。我堅持要寫,是因為合併是一個判斷,判斷可能出錯。三個月後有人質疑為什麼這兩筆算同一件事,備註是唯一的依據。寫法很短,例如「引述相同,事件日期相同,併入」。

週報裡怎麼呈現去重後的結果

週報的讀者通常只想知道發生了幾件事。所以計數欄要寫事件數。轉述數放在括號或另一欄,並加上一句說明。

我見過一份週報寫「對手本週曝光量大增,相關消息十一則」。會議上,主管據此認為對手正在加大市場投入。回頭查,十一則裡有九則是同一篇稿件的轉載。正確的寫法是「本週新增事件兩件,其中一件被九個管道轉述」。兩種寫法傳達的判斷完全不同。

這也是為什麼去重不能只當成資料清理的雜務。它直接影響報告上的那個數字,而那個數字會被拿去做決定。

執行這份清單時最常被問的兩個問題

第一個問題是,對手自己在不同管道重複發佈同一則內容,算不算重複。例如官網公告、電子報、社群公開貼文講的是同一件事。我的處理是算同一事件,主紀錄選內容最完整的那一份,通常是官網公告。其他管道標為轉述,但在備註註明是對手自行發佈。對手選擇在哪些管道同步發佈,反映了他重視哪些受眾,這一點可以寫進分析,只是不能當成多個事件。

第二個問題是,舊資料要不要回頭全部去重。答案是看用途。如果舊資料會被拿來做跨期比較,例如比較今年與去年同期的事件數,就必須用同一套規則回頭處理,否則兩期的計數基礎不同,比較沒有意義。如果舊資料只是存檔備查,可以不處理,但要在資料表的說明分頁寫明從哪一天起才適用去重規則,避免日後有人把兩段資料直接相加。

這份清單的限制與不適用情況

清單靠人工判斷,適合每週新增幾十筆資料的規模。每週新增上千筆時,人工比對不可行,需要文字相似度的自動化處理,這超出本文範圍。

研究問題本身就是「聲量」的時候,例如要評估某則消息的擴散程度,轉述數才是主角,計數邏輯要反過來設計。另外,清單只處理公開來源的文字資料。圖片、影片內容的重複辨識需要不同的做法。最後要提醒,去重只能減少重複計算,不能驗證消息的真假,查證是另一道工序,兩者不能互相取代。

← 回到新知列表