50美元蒸馏成本,李飞飞团队用阿里云Qwen模型复刻DeepSeek的R1

潮新闻 记者 张云山2025-02-06 13:14全网传播量10.2万
00:00
00:00

众人拾柴火焰高,开源大模型再度发力。今日有报道称李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用,成功训练出了一个名为s1的人工智能推理模型。该模型在数学和编码能力测试中的表现,据称与OpenAI的O1和DeepSeek的R1等尖端推理模型不相上下。

李飞飞团队发表的论文

根据李飞飞团队发布的论文,s1模型的训练基座模型为阿里通义千问模型Qwen2.5-32B-Instruct。s1用50美元训练出新的具有推理能力的模型,实际上只是用从谷歌模型中提炼出来的1000个样本,然后对通义千问模型进行微调而成。

论文摘要

有专家指出,微调成本很低,显然是站在性能优异的Qwen开源模型之上才做得到,这也是开源促进技术发展的又一典型案例。

“转载请注明出处”