數據與工具

LLMO 要怎麼量:一張自己就能維護的 AI 能見度追蹤表

搜尋排名有後台可以看,被 AI 引用沒有。這件事讓很多人乾脆不量,結果就是無法判斷任何調整有沒有效果。我們自己維護的追蹤表只有十個欄位,每週花二十分鐘就能更新,以下把欄位設計、操作流程與判讀原則完整寫出來。

先決定要問哪五個問題

問題的選擇比工具重要。我們建議固定五題,並且分成兩類:三題品牌事實、兩題品類能見度。

  • 品牌事實題:你們是做什麼的、適合什麼樣的客戶、怎麼收費。這三題測的是模型對你的描述是否正確且穩定。
  • 品類能見度題:這個需求該找誰、這類服務通常包含什麼。這兩題測的是你有沒有出現在候選名單裡。

問題一旦定下來就不要改,改了就失去可比性。要新增,就另外開一組,舊的那組繼續跑。

追蹤表的十個欄位

  1. 查詢日期:只記到日,不記時分。
  2. 模型名稱:五家就寫五列,不要合併。
  3. 問題編號:對應上面五題。
  4. 是否提到品牌:是或否,二元記錄。
  5. 出現順位:在回答中第幾個被提到,沒提到就留空。
  6. 描述是否正確:正確、部分正確、錯誤,三選一。
  7. 錯在哪:只有在部分正確或錯誤時填,寫具體的那一句。
  8. 引用來源網域:模型有附來源時記錄,沒有就留空。
  9. 引用的頁面:同上,記到路徑。
  10. 備註:當週有做過什麼調整,寫在這裡。

第十欄是整張表最重要的一欄。沒有這欄,你只會看到數字上下起伏,卻無法對應到任何動作。

每週的操作流程

固定一個時段,用無痕視窗、未登入狀態,依序把五題丟給五家模型,逐一填表。整個流程大約二十分鐘。三個細節要注意:

  • 用免費版測試。多數潛在客戶用的是免費版,付費版的行為不代表真實情境。
  • 不要在同一個對話裡連續問五題,前面的回答會影響後面。每題開新對話。
  • 不要改寫問題。錯字都保留,因為使用者本來就會打錯。

三個判讀原則

第一,品牌事實題的答案應該穩定。如果四週內描述一直在變,代表你的公開資訊不夠一致,優先處理的是官網與社群簡介的對齊,而不是產出更多內容。

第二,品類能見度題的名單本來就會浮動。我們自己測的那一題,四週內出現過的名字有十九個,其中只有五個每週都出現。所以單週沒出現不必緊張,要看的是四週的出現率。

第三,錯誤描述比沒被提到更急。模型講錯你的服務範圍或收費方式,會直接造成錯誤的詢問與退件。發現錯誤描述時,先去修正對應的來源頁面,讓正確版本更容易被擷取。

什麼時候該進階

當你已經穩定跑滿八週、而且開始需要比較競爭對手時,手動記錄的成本會急遽上升。這時候才值得把流程半自動化,或把競業比較外包成一次性的專案。

我們在 逆向破解競業情報書 裡就包含這一段:把你和主要競爭對手在同一組問題下的表現攤開比較,並標出對方被引用的頁面型態。要開始的話,填 情報書需求問卷 就可以。

但請先自己跑滿四週。沒有自己的基準線,任何比較都沒有意義。

常見的三個記錄錯誤

第一個是把「有提到品牌」和「描述正確」混為一談。被提到但描述錯誤,實際上比沒被提到更糟,因為錯誤會直接進入潛在客戶的認知。這兩欄一定要分開記。

第二個是只記結論不記原文。四週之後你想回頭確認某次描述到底怎麼寫的,如果只留下「部分正確」四個字,就完全無法追溯。建議另開一個資料夾,把每次的完整回答存成純文字檔,檔名用日期加模型名。

第三個是在資料還不足時就急著解讀。單週的波動幾乎沒有意義,我們自己也是跑滿四週才第一次做判讀。太早解讀會導致頻繁調整,而頻繁調整又會讓資料失去可比性,形成惡性循環。

資料累積之後可以做的三件事

  1. 找出描述最穩定的那一句:那通常是你目前最強的定位敘述,應該在所有通路統一使用。
  2. 找出反覆出錯的那一項:優先修正對應的來源頁面,並在該頁把正確版本寫成可獨立擷取的段落。
  3. 找出從未被提到的題目:那是內容缺口,補一篇講到底的文章通常比優化既有頁面更有效。

要不要為此買工具

以我們的經驗,前八週不需要。手動記錄的過程本身就是在訓練判斷力,你會親眼看到模型怎麼描述你的產業、用什麼詞、在什麼情況下會保守。這種理解沒辦法靠報表獲得。八週之後如果要擴大到二十題以上、或要同時追蹤多個競爭對手,再評估工具或委外。

這張表最後會回答的問題

跑滿八週之後,這張表可以回答四個具體問題:模型對你的描述穩不穩定、描述得正不正確、你在品類題裡的出現率是多少、以及哪些調整之後出現率有變化。

這四個答案合起來,就是你在生成式搜尋時代的能見度基準線。有了基準線,任何後續投入才能被評估;沒有基準線,所有討論都只能停留在感覺。

我們自己維護這張表的成本是每週二十分鐘,一季大約四小時。以顧問工作的時間價值來看,這是我們做過投報率最高的例行工作之一。

題目設計的三個原則

第一,題目要固定不變。任何調整都會讓歷史資料失去比較基礎,寧可一開始多花時間想清楚。第二,涵蓋三類:品牌型(你們是誰)、服務型(你們做什麼)、問題型(某個問題怎麼解決)。第三,問題型要佔一半以上,因為那才是真正的競爭場域。

題數建議二十題,每月測一次約需三十分鐘。低於十題樣本太小,高於三十題維護不下去。

記錄之後怎麼判讀

  1. 先看未提及的比例,這是最基本的能見度。
  2. 再看被提及但描述錯誤的比例,這一類最需要優先處理。
  3. 接著看競爭者的出現頻率,判斷相對位置。
  4. 最後看引用的來源頁面,那些是你真正在發揮作用的內容。

第四項最有行動價值。知道哪幾頁在被引用,就知道該強化什麼、也知道其他頁面該往哪個方向調整。

追蹤表的長期使用

這張表的價值在第六個月之後才會顯現。前三個月的資料只能建立基準,之後才看得出趨勢。因此最重要的不是把表設計得多完整,而是能不能持續填滿十二個月。

為了持續,建議把每月的測試時間壓到三十分鐘以內,並且固定在每月的同一天。超過三十分鐘的工作,通常撐不過第四個月。

如果實在沒有時間,寧可把題數從二十題減到十題,也不要跳過某個月。連續性比完整性重要,中斷過的資料,趨勢就斷了。

← 回到新知列表