競品的公開更新日誌可以當成產品路線圖來讀嗎？
不可以。更新日誌記錄的是對手已經做完並願意公告的事，它反映過去幾個月的工程產出，不反映未來的方向。把它當成路線圖來讀，會把修補舊問題誤認成開拓新市場。日誌適合用來觀察對手投入資源的分布，判斷方向還需要定價、徵才與官網訊息等其他來源一起對照。
更新日誌是軟體公司公開列出每次版本新增、修正與調整內容的頁面。它是對手主動公開的資料，多數依日期排列，條目簡短。正因為格式整齊，很容易讓人覺得它完整。
這次委託的背景與我們當時的結論是什麼？
委託方是一家做預約排程軟體的團隊，客戶以小型工作室為主。他們想知道主要對手接下來會往哪裡走，好決定自己要不要投入多分店管理功能。
我們整理了對手一年份的更新日誌，把每一條歸類。結果顯示，與權限管理、多分店報表、單一登入相關的條目明顯增加。我們據此寫下結論：對手很可能正在轉向較大型的連鎖客戶，信心程度標為中高。
兩個月後，對手公開了新方案。內容是一個價格更低的入門版，功能精簡，明確針對個人工作者。方向和我們寫的相反。
錯誤一：為什麼條目數量不能代表投入重心？
我們用條目數量來衡量對手的重心。這是第一個錯。日誌上的一條可能是一個人半天的修正，也可能是一個小組三個月的工程。條目數多，只代表那個領域被拆成很多條來公告。
回頭重讀才發現，權限與報表相關的條目大多是小修正，用詞多為調整、修正、改善。這類用詞通常表示在處理既有客戶回報的問題。真正以全新推出描述的條目很少，而且分散在其他領域。
修正做法是歸類時多加一欄，記錄條目的性質：全新功能、既有功能擴充、問題修正、介面調整。只有前兩類才用來觀察方向。問題修正類另外統計，它說明的是對手哪裡有客戶在抱怨，那是另一種有用的資訊。
錯誤二：為什麼忽略了日誌沒有寫的東西？
對手的入門版顯然開發了一段時間，日誌上卻沒有任何痕跡。這不奇怪。尚未發佈的新產品線，本來就不會出現在現有產品的更新紀錄裡。
我們把日誌當成對手工程活動的全貌，沒有問它涵蓋的範圍是什麼。一份只記錄主產品網頁版的日誌，看不到行動應用程式，看不到新產品，也看不到內部工具。
- 確認日誌涵蓋哪些產品與平台，哪些不在其中
- 確認日誌的更新頻率是否穩定，有沒有長時間的空白
- 留意公告量突然減少的時期，那可能代表資源被調去做尚未公開的事
- 在報告中寫明日誌的涵蓋範圍，以及我們看不到的部分
事後看，對手在新方案發佈前的三個月，日誌的更新量確實比平常少。當時我們注意到了，卻解讀成進入穩定期，沒有列為需要追蹤的異常。
錯誤三：其他公開來源其實指向不同方向，為什麼沒有對照？
這是最不該犯的錯。報告期間，對手的公開徵才裡有一個成長行銷的職缺，職務描述提到自助註冊與免費轉付費。對手官網的首頁文案也在同一時期，把主標題從團隊協作改成更貼近個人使用者的說法。
這兩項資料我們都有蒐集，分別放在報告的徵才段落與官網段落。但寫產品方向的結論時，我們只引用了更新日誌。三個段落由不同的人撰寫，沒有人負責把它們放在一起看矛盾之處。
修正做法是在流程裡增加一個固定步驟。任何關於對手方向的結論，至少要列出三種不同類型的公開來源，並逐一寫明該來源是支持、矛盾，還是無關。出現矛盾時，結論的信心程度不得高於中，而且矛盾本身要寫進正文。
錯誤四：信心程度為什麼標得太高？
我們標了中高。依據是條目數量的趨勢很明顯。但趨勢明顯不等於推論可靠。單一來源、未經對照、而且存在我們沒有處理的反向訊號，這三個條件下，信心程度最多只能是低到中。
委託方的負責人後來告訴我們，他們看到中高兩個字，就把報告的結論直接放進了內部的規劃簡報。信心標示會被讀的人拿去用，標高了，責任在我們。
現在的規則是信心程度要對應明確的條件。高需要三種以上獨立來源一致，且沒有未解釋的反向訊號。中需要兩種來源一致，或三種來源中有可解釋的矛盾。其餘一律為低。標示旁邊要寫出符合的是哪一條。
這次失準對委託方造成什麼影響，我們怎麼處理？
影響有限，原因是委託方自己踩了煞車。他們原本打算依報告加快多分店功能的開發。產品負責人在排程前問了一句：如果對手沒有往上走，我們還做不做這個功能。團隊討論後認為，無論對手如何，既有客戶裡確實有人需要，所以只排了較小的第一階段。
這個問題其實應該由我們在報告裡先問。情報書的行動建議，如果只在對手真的照推測走時才成立，那個建議本身就很脆弱。
失準確認後，我們做了三件事。寫信向委託方說明哪一個結論已經被推翻，以及原因。重做產品方向那一節，把三種來源並列重新判讀。把修正後的流程用在同一份報告的其他結論上，全部重新檢查一遍。重查後，另有一條結論的信心程度從中調降為低。
修正後的更新日誌判讀流程是什麼？
- 先確認日誌的涵蓋範圍與更新頻率，寫明看不到的部分
- 逐條歸類，同時記錄主題領域與條目性質
- 只用全新功能與功能擴充兩類觀察方向，問題修正另外統計
- 標出公告量異常增加或減少的時期，列為追蹤項目
- 將日誌的觀察與徵才、定價、官網訊息至少三類來源並列
- 逐一標示各來源是支持、矛盾或無關，矛盾要寫進正文
- 依明確條件標示信心程度，並寫出失效訊號
- 檢查行動建議在推測不成立時是否仍然合理
第八步是這次檢討新增的。我們稱它為反向檢查。每一項建議都要回答：如果對手走的是相反方向，委託方做了這件事會不會後悔。會後悔的建議，要改小或加上觸發條件。
委託方在檢討會議上問了哪些問題？
檢討是用文字進行的，委託方提了三個問題。第一個問題是，同一份報告的其他結論還能不能信。我們的回答是已全部重查，並附上重查後的對照表，逐條列出原本的信心程度、重查後的信心程度與調整理由。沒有變動的結論也列出來，寫明它符合哪一條標準。
第二個問題是，更新日誌以後還要不要看。要看，但用途要改。它最可靠的用途是找出對手正在修補哪些地方。修補得多的領域，通常是對手既有客戶抱怨多的領域。這對委託方的業務比猜方向更直接有用。
第三個問題最尖銳：你們怎麼確定修正後的流程不會再錯。我們不確定。流程只能降低同一類錯誤再發生的機會。公開資料的判讀永遠可能失準，所以每個結論才需要失效訊號，報告也才需要約定回看的日期。這個回答沒有讓對方完全滿意，但這是我們能誠實給出的答案。
更新日誌的判讀在哪些情況下不適用？
對手若不公開更新紀錄，或只在大版本時發佈行銷式的公告，這個來源就沒有判讀價值。硬體產品與服務業也不適用，他們的產品變化不以這種形式留下紀錄。
即使對手的日誌很完整，它也只適合回答對手最近把工程資源花在哪裡。對手下一步要做什麼、要進入哪個市場，單靠日誌答不出來。這篇檢討的教訓是一個來源只回答它能回答的問題，其餘的要誠實留白。公開資料的判讀永遠可能失準，情報書無法保證任何預測成真。