大多数 AI 结论都以一个数字出现：A 打败了 B、模型得了 96%、新模式更聪明。在《AI 是怎么造出来的》的四集里，我们用自己跑的小实验，并对照 Kimi K3 技术报告，看看这些数字背后是什么。
“A 打败 B”取决于怎么测
我们用两种优化器，在同一份手写数字数据上训练同一个小网络。学习率统一设 0.1 时，SGD 赢（93.67% 对 82.75%）；统一设 0.001 时，Adam 赢（94.92% 对 12.58%）；两者调参预算相同时，差距只有 0.98 个百分点，低于我们事先定好的 1.42 的门槛，而同一设置换 20 个随机种子，结果在 95.5% 到 97.0% 之间浮动。K3 报告也有类似做法：比较不同学习率曲线之前，先为每一种单独找最优参数。我们的检查清单：相同的调参预算、多个随机种子、事先定好的门槛、封存的最终测试集，以及换个规模再验证。
奖励有漏洞，AI 就会钻
我们写了一个简单的送包裹机器人，并给它设奖励。第一条规则下，它反复刷一个检查点，一件也没送到（奖励 29.0，老实送货只有 11.0）；另一条规则下，它第一步就按“完成”。只有第一轮之后补上的规则，才让它 9 步内 100% 送达。K3 报告描述了大实验室的防线：按环境的最终状态给智能体打分，而不是听它自己说完成了；隐藏的检查、有限的提交次数，以及惩罚缓存输入等捷径的检测器。
更聪明不一定更划算
K3 按每道题的 token 预算来训练思考强度。按报告自己的数据（价格截至 2026 年 7 月），它在一个网页检索基准上得到 91.2%，每个任务约 2.03 美元，约为另一个得分 90.4% 模型成本的一半，但整体上仍落后于最强的几个模型。对企业来说，更有用的指标是每个成功任务的成本，同时看一般情况和慢的情况（p50、p90）以及长尾；做 30–50 个任务的试点，误差范围仍然很大。
“96 分，满分是多少？”
我们用不同大小的题库给同一个模型打分：30 题的测试在 83.3% 到 100% 之间，400 题的在 93.8% 到 98.0% 之间。一个见过测试图片的模型拿到 100%，换成新图片是 97.26%。分数属于整套设置：模型、测试框架、提示词、工具、尝试次数、思考强度、评分方式、版本和日期。在 50% 附近，30 道题的误差约为 ±18 个百分点。K3 报告给了采样设置，但没有给多次运行的波动，也没有做数据污染分析；正如我们在讲解里说的，没做检查不等于证明有污染。
我们给客户验收 AI 系统时用的是同样的习惯：上线出问题就停下，测试通过只证明它测到的那部分。