近日,斯坦福大学和华盛顿大学的研究人员成功训练了一款名为s1的AI推理模型,训练成本仅需50美元。该模型在数学和编程能力测试上的表现可与OpenAI的o1模型和DeepSeek的R1模型相媲美。这项成果引发了关于AI模型商品化的新思考,同时也引起了大型AI实验室的担忧。
研究团队通过蒸馏技术从现成的基础模型中提取出所需的推理能力,使用了谷歌的Gemini2.0Flash Thinking Experimental模型进行训练。这一过程不仅成本低廉,而且训练速度快。
尽管如此,大型AI实验室对于低成本复制模型的现象表示不满。Meta、谷歌和微软计划在未来两年内投资数千亿美元用于训练下一代AI模型,以巩固其在市场中的地位。
s1的研究成果展示了一种通过相对小的数据集和监督微调方法来实现强大推理性能的可能性,这也为未来的AI研究提供了新的方向。
论文:https://arxiv.org/pdf/2501.19393
代码:https://github.com/simplescaling/s1
划重点:
s1模型的训练成本不足50美元,表现媲美顶尖推理模型。
研究团队通过蒸馏技术,从现成模型中提取推理能力,训练过程快速高效。
大型AI实验室对低成本复制模型的情况表示担忧,未来投资将集中在AI基础设施上。