近日,斯坦福大學和華盛頓大學的研究人員成功訓練了一款名為s1的AI推理模型,訓練成本僅需50美元。該模型在數學和編程能力測試上的表現可與OpenAI的o1模型和DeepSeek的R1模型相媲美。這項成果引發了關於AI模型商品化的新思考,同時也引起了大型AI實驗室的擔憂。
研究團隊通過蒸餾技術從現成的基礎模型中提取出所需的推理能力,使用了谷歌的Gemini2.0Flash Thinking Experimental模型進行訓練。這一過程不僅成本低廉,而且訓練速度快。
儘管如此,大型AI實驗室對於低成本複制模型的現象表示不滿。 Meta、谷歌和微軟計劃在未來兩年內投資數千億美元用於訓練下一代AI模型,以鞏固其在市場中的地位。
s1的研究成果展示了一種通過相對小的數據集和監督微調方法來實現強大推理性能的可能性,這也為未來的AI研究提供了新的方向。
論文:https://arxiv.org/pdf/2501.19393
代碼:https://github.com/simplescaling/s1
劃重點:
s1模型的訓練成本不足50美元,表現媲美頂尖推理模型。
研究團隊通過蒸餾技術,從現成模型中提取推理能力,訓練過程快速高效。
大型AI實驗室對低成本複制模型的情況表示擔憂,未來投資將集中在AI基礎設施上。