造一个大模型，与其说是一项发明，不如说像带一个学生：先定好要做的事，准备材料，找好场地，设计大脑，先广泛地学，再学规矩，然后考试、安全上线、持续服务。我们的系列《AI 是怎么造出来的》用一个公开案例走完这九个环节：月之暗面公开的 Kimi K3 技术报告和开源推理代码。（独立的科普内容，与月之暗面无关联。）
报告告诉了我们什么
- 按报告的说法，K3 总参数约 2.8 万亿，每个 token 实际用到约 1040 亿（约 3.7%）。
- 它是混合专家模型：896 个可选专家，每个 token 选 16 个，另有 2 个共享专家；93 层里有 92 层是专家层。
- 上下文在预训练中从 8K 扩到 64K，在收尾阶段从 256K 扩到 100 万。
- 九个“老师”模型（三个领域，各有低、高、最高三档思考强度）被蒸馏成一个模型，思考模式始终开启。
同样重要的是报告没有给出的东西：完整的数据配方和数据本身、预训练的总 token 数、主训练的完整规模和成本。而且这是开放权重，一旦被下载就无法收回。
三个问题看懂任何模型
任何模型结构都在回答三个问题：怎样回看前文（序列），层与层怎样沟通（深度），工作怎样分担（宽度，也就是专家）。用完整注意力时，长度翻倍，成本大约变成四倍。K3 把固定大小的记忆（Kimi Delta Attention）和常规注意力层混在一起用。按示意计算，在 100 万 token 时每一层都保留完整笔记，大约需要 4.8 TB 显存，而 K3 的布局约为 26–29 GB。
没人给你看的数据
报告列出了文本领域（网页、代码、数学、知识）和图像数据的类型，但没有给出来源、规模、日期、授权，也没有说明过滤的顺序。有两点经验适用于任何项目：从数据里删掉一个样本，并不会自动消除它对已训练权重的影响；标注也有数学，两个各自 80% 准确的标注员，一致的概率只有约 68%，三人投票取多数能到约 89.6%。一小份可信的“金标准”数据，能让机器标注保持靠谱。
当芯片反过来改了模型
K3 里最小的一条规则，说明了硬件怎样反过来影响数学设计。报告给一个衰减值设了 −5 的下限，让 16 个 token 的小块里数值保持在 e80 以下，能放进 BF16 数值格式，于是每个小块都能用上高速矩阵运算单元。在我们自己的小实验里，没有这个下限时 BF16 会在部分位置溢出；加上之后没有溢出，误差与全精度结果相比在约 0.4% 以内。这条规则保护的是其中一步，并不是让整个模型都不会溢出。
这对企业 AI 意味着什么
大多数企业不会去训练前沿大模型，我们也不会：我们的团队通常从现成模型出发，把系统搭在它周围。但看懂这几个环节，能帮你向任何供应商问对问题：用了什么数据、怎么测试、运行成本多少、规模变大时会发生什么。