在工廠裏，一個每小時都預測“設備正常”的模型看起來可以很出色。在我們這一集的模擬裏，一個永遠説“正常”的模型，按小時算準確率是 99.2%，60 次故障卻一次也沒報出來。在容易的情況上算出來的準確率，幾乎説明不了那一次真正要緊的情況。
不同的方法抓不同的故障
在同一份模擬數據上，一個訓練好的分類器抓到了 24 次軸承故障中的 23 次，卻只抓到 36 次過熱中的 2 次，每台設備每年約有 9.5 次誤報；一個只用正常運行數據訓練的異常檢測器，抓到了全部 36 次過熱和 24 次軸承故障中的 10 次，沒有誤報。兩者都不是“最好的模型”，選哪個取決於哪種故障你承受不起漏掉，以及團隊能容忍多少誤報。我們在第一輪發現並修好了一個錯誤，兩輪結果都保留在講解裏。
醫院、工廠和銀行問的問題不一樣
- 醫院按事先定好的方案（ICH E9）和事先定好的性能標準來評估。達到合格線不是比賽，也不能説明一個系統比另一個更好。
- 銀行受模型風險指引約束。在美國，SR 26-2（2026 年 4 月）取代了 SR 11-7，涵蓋驗證、有效質詢和模型清單；它是指引，並且不適用於生成式和智能體類 AI。拒絕放貸時還必須給出清楚的理由。
- 工廠要的是操作員會真正處理的預警。在我們自己的倉儲項目裏，裝卸區的作業規範檢查不做人臉識別；在一個碳合規項目裏，規則庫和數據分開存放，規則一改，數字不會悄悄跟着變。
我們也清楚自己的邊界：我們沒有醫院 AI 或銀行模型風險方面的項目經驗，講解裏也這樣説了。在每個行業都通用的是同一個習慣：先想清楚出錯的代價，再選模型，並且在真正要緊的情況上做測量。