通过链式思维推理对齐大型和小型语言模型

链式思维（CoT）提示增强了大型语言模型（LLM）的推理能力，使其能够逐步解决复杂问题。

挑战：这些能力仅出现在拥有数十亿参数的模型中，这对使用小型语言模型（SLM）的用户构成了障碍。

解决方案：本文提出一种基于CoT示范的指令微调-CoT方法：

• 将大型LLM的推理能力迁移至小型SLM
• 使SLM能够在CoT机制下生成多步骤、可控的推理答案
• 利用强大模型的输出指导小模型学习

实验结果：在问答和数学推理基准上，采用该方法训练的SLM在域内与域外场景均显著优于基线。

参考资料：ACL 论文