造一個大模型，與其説是一項發明，不如説像帶一個學生：先定好要做的事，準備材料，找好場地，設計大腦，先廣泛地學，再學規矩，然後考試、安全上線、持續服務。我們的系列《AI 是怎麼造出來的》用一個公開案例走完這九個環節：月之暗面公開的 Kimi K3 技術報告和開源推理代碼。（獨立的科普內容，與月之暗面無關聯。）
報告告訴了我們什麼
- 按報告的説法，K3 總參數約 2.8 萬億，每個 token 實際用到約 1040 億（約 3.7%）。
- 它是混合專家模型：896 個可選專家，每個 token 選 16 個，另有 2 個共享專家；93 層裏有 92 層是專家層。
- 上下文在預訓練中從 8K 擴到 64K，在收尾階段從 256K 擴到 100 萬。
- 九個“老師”模型（三個領域，各有低、高、最高三檔思考強度）被蒸餾成一個模型，思考模式始終開啓。
同樣重要的是報告沒有給出的東西：完整的數據配方和數據本身、預訓練的總 token 數、主訓練的完整規模和成本。而且這是開放權重，一旦被下載就無法收回。
三個問題看懂任何模型
任何模型結構都在回答三個問題：怎樣回看前文（序列），層與層怎樣溝通（深度），工作怎樣分擔（寬度，也就是專家）。用完整注意力時，長度翻倍，成本大約變成四倍。K3 把固定大小的記憶（Kimi Delta Attention）和常規注意力層混在一起用。按示意計算，在 100 萬 token 時每一層都保留完整筆記，大約需要 4.8 TB 顯存，而 K3 的佈局約為 26–29 GB。
沒人給你看的數據
報告列出了文本領域（網頁、代碼、數學、知識）和圖像數據的類型，但沒有給出來源、規模、日期、授權，也沒有説明過濾的順序。有兩點經驗適用於任何項目：從數據裏刪掉一個樣本，並不會自動消除它對已訓練權重的影響；標註也有數學，兩個各自 80% 準確的標註員，一致的概率只有約 68%，三人投票取多數能到約 89.6%。一小份可信的“金標準”數據，能讓機器標註保持靠譜。
當芯片反過來改了模型
K3 裏最小的一條規則，説明了硬件怎樣反過來影響數學設計。報告給一個衰減值設了 −5 的下限，讓 16 個 token 的小塊裏數值保持在 e80 以下，能放進 BF16 數值格式，於是每個小塊都能用上高速矩陣運算單元。在我們自己的小實驗裏，沒有這個下限時 BF16 會在部分位置溢出；加上之後沒有溢出，誤差與全精度結果相比在約 0.4% 以內。這條規則保護的是其中一步，並不是讓整個模型都不會溢出。
這對企業 AI 意味着什麼
大多數企業不會去訓練前沿大模型，我們也不會：我們的團隊通常從現成模型出發，把系統搭在它周圍。但看懂這幾個環節，能幫你向任何供應商問對問題：用了什麼數據、怎麼測試、運行成本多少、規模變大時會發生什麼。