低成本高效能!斯坦福团队打造媲美OpenAI推理模型s1

发布时间:2025-02-07 09:32:35 来源:互联网

近期,人工智能领域迎来了一项引人注目的新突破。据一份最新发布的研究报告显示,斯坦福大学与华盛顿大学的科研团队,仅凭不到50美元的云计算成本(当前汇率下约364元人民币),就成功打造了一款具备卓越“推理”能力的人工智能模型——s1。

这款s1模型在数学与编程能力测试中,展现出了与OpenAI的o1、DeepSeek的r1等业界顶尖推理模型相媲美的水平。更令人瞩目的是,s1模型及其训练数据和代码已在GitHub平台上全面开源,供全球开发者研究和使用。

s1团队揭秘,他们采用了“蒸馏”技术来创建这款模型。该技术通过训练模型来学习另一个AI模型的答案,从而提炼出其核心推理能力。据悉,s1模型是从谷歌的Gemini 2.0 Flash Thinking Experimental模型中蒸馏而来。而就在上个月,加州大学伯克利分校的研究人员也运用相同的蒸馏方法,以约450美元的成本开发了一款AI推理模型。

随着s1等类似模型的出现,人工智能领域的商品化问题日益凸显。当有人能够以极低的成本复制出价值数百万美元的模型时,大型科技公司的竞争优势何在?这一问题引发了业界的广泛关注和讨论。

面对这一挑战,大型AI实验室纷纷表达不满。例如,OpenAI就曾指责DeepSeek不当获取其API数据用于模型蒸馏。而s1团队则致力于探索实现强大推理性能和“测试时扩展”的最简洁途径,这些正是OpenAI的o1模型所取得的突破。

s1的论文指出,通过监督微调(SFT)方法,可以使用较小的数据集来蒸馏推理模型。在SFT过程中,AI模型被明确指示在数据集中模仿特定行为。相较于DeepSeek用于训练R1模型的大规模强化学习方法,SFT更具成本效益。

值得注意的是,谷歌通过其Google AI Studio平台免费提供Gemini 2.0 Flash Thinking Experimental模型的访问权限,但设有每日使用限制。然而,其使用条款明确禁止对模型进行逆向工程,以开发与谷歌自身AI产品竞争的服务。尽管如此,s1团队还是巧妙地利用了这一资源。

s1模型基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费AI模型。为了训练s1,研究人员精心策划了一个包含1000个问题及其答案的数据集,并收集了谷歌Gemini 2.0 Flash Thinking Experimental对每个答案背后“思考”过程的输出。

在训练过程中,研究人员使用了16个Nvidia H100 GPU,耗时不到30分钟,便成功训练出了s1模型。据参与该项目的斯坦福大学研究员Niklas Muennighoff透露,目前租用这些计算资源的成本约为20美元。这一低廉的成本再次凸显了s1模型的性价比优势。

为了进一步提升s1的性能,研究人员还采用了一个巧妙的技巧:让s1在推理过程中“等待”。论文显示,在s1的推理步骤中添加“等待”一词,有助于模型获得更为准确的答案。这一发现为AI模型的优化提供了新的思路。

本周热门教程

1
91在线无精精品入口九色平台如何保障用户隐私与安全,确保最佳娱乐体验?

91在线无精精品入口九色平台如何保障用户隐私与安全,确保最佳娱乐体验?

2024/11/13

2
我丰满的岳母是如何在家庭中发挥独特作用的?

我丰满的岳母是如何在家庭中发挥独特作用的?

2024/12/16

3
国精产品天美一区:探索国精产品在天美一区的市场机遇与发展前景

国精产品天美一区:探索国精产品在天美一区的市场机遇与发展前景

2025/01/18

4
如何免费下载安装十八模1.1.3?详细教程及注意事项

如何免费下载安装十八模1.1.3?详细教程及注意事项

2024/11/01

5
抹布文双男主多人设定的剧情魅力为何如此吸引人?

抹布文双男主多人设定的剧情魅力为何如此吸引人?

2024/10/30

6
为什么曝18免费视频下载被禁止?分析背后的法律、道德和技术原因

为什么曝18免费视频下载被禁止?分析背后的法律、道德和技术原因

2024/11/14

7
大榆树老干妈MV上线,如何影响品牌形象与市场反响?

大榆树老干妈MV上线,如何影响品牌形象与市场反响?

2024/11/02

8
3P对女性身心的影响分析:心理与生理层面的多重影响

3P对女性身心的影响分析:心理与生理层面的多重影响

2024/11/20

9
日产无线码无人区为何成为未来无人驾驶的新趋势?

日产无线码无人区为何成为未来无人驾驶的新趋势?

2024/10/19

10
如何优雅地回应别人的赞美“お褒めありがとうございます”?

如何优雅地回应别人的赞美“お褒めありがとうございます”?

2024/10/26