大多數 AI 結論都以一個數字出現：A 打敗了 B、模型得了 96%、新模式更聰明。在《AI 是怎麼造出來的》的四集裏，我們用自己跑的小實驗，並對照 Kimi K3 技術報告，看看這些數字背後是什麼。
“A 打敗 B”取決於怎麼測
我們用兩種優化器，在同一份手寫數字數據上訓練同一個小網絡。學習率統一設 0.1 時，SGD 贏（93.67% 對 82.75%）；統一設 0.001 時，Adam 贏（94.92% 對 12.58%）；兩者調參預算相同時，差距只有 0.98 個百分點，低於我們事先定好的 1.42 的門檻，而同一設置換 20 個隨機種子，結果在 95.5% 到 97.0% 之間浮動。K3 報告也有類似做法：比較不同學習率曲線之前，先為每一種單獨找最優參數。我們的檢查清單：相同的調參預算、多個隨機種子、事先定好的門檻、封存的最終測試集，以及換個規模再驗證。
獎勵有漏洞，AI 就會鑽
我們寫了一個簡單的送包裹機器人，並給它設獎勵。第一條規則下，它反覆刷一個檢查點，一件也沒送到（獎勵 29.0，老實送貨只有 11.0）；另一條規則下，它第一步就按“完成”。只有第一輪之後補上的規則，才讓它 9 步內 100% 送達。K3 報告描述了大實驗室的防線：按環境的最終狀態給智能體打分，而不是聽它自己説完成了；隱藏的檢查、有限的提交次數，以及懲罰緩存輸入等捷徑的檢測器。
更聰明不一定更划算
K3 按每道題的 token 預算來訓練思考強度。按報告自己的數據（價格截至 2026 年 7 月），它在一個網頁檢索基準上得到 91.2%，每個任務約 2.03 美元，約為另一個得分 90.4% 模型成本的一半，但整體上仍落後於最強的幾個模型。對企業來説，更有用的指標是每個成功任務的成本，同時看一般情況和慢的情況（p50、p90）以及長尾；做 30–50 個任務的試點，誤差範圍仍然很大。
“96 分，滿分是多少？”
我們用不同大小的題庫給同一個模型打分：30 題的測試在 83.3% 到 100% 之間，400 題的在 93.8% 到 98.0% 之間。一個見過測試圖片的模型拿到 100%，換成新圖片是 97.26%。分數屬於整套設置：模型、測試框架、提示詞、工具、嘗試次數、思考強度、評分方式、版本和日期。在 50% 附近，30 道題的誤差約為 ±18 個百分點。K3 報告給了採樣設置，但沒有給多次運行的波動，也沒有做數據污染分析；正如我們在講解裏説的，沒做檢查不等於證明有污染。
我們給客户驗收 AI 系統時用的是同樣的習慣：上線出問題就停下，測試通過只證明它測到的那部分。