过去两年,大模型行业最昂贵的环节是什么?
答案通常是训练。
无论是OpenAI、Anthropic还是谷歌,每一次模型升级背后都意味着数以亿计美元计算资源的投入。行业默认的进化路径一直是“更大的模型、更大的数据集、更长时间的训练”。但最近硅谷技术圈出现的一种新思路,正在挑战这一共识。
YC合伙人Diana Hu提出的观点颇具代表性:未来AI发展的关键,可能不再是不断向神经网络权重中灌输知识,而是在模型之上构建一层足够轻薄的软件系统,让AI像程序员一样自己编写规则、测试规则并修正规则。
如果这个方向成立,AI产业的成本结构或许会被重新定义。
这一思路背后的核心概念被称为“可执行世界模型”。
简单来说,传统大模型将知识压缩在数千亿甚至数万亿参数之中。当模型需要解决问题时,本质上是在调用这些已经编码进权重的经验。而新的路径则尝试让模型把知识写成代码,把推理过程显性化。
代码运行。
得到结果。
发现错误。
修改代码。
再次运行。
循环往复。
这听起来更像软件开发,而不是机器学习。
事实上,OpenAI前后训练团队核心成员翁家翌此前公开的一项实验已经展示了这种可能性。在不修改底层模型参数的情况下,大模型通过不断编写Python代码、自我调试和修复错误,最终完成了Atari经典游戏《打砖块》的任务。
这里最有意思的地方不在于打通了一款游戏。
而在于学习发生的位置变了。
传统深度学习依赖梯度下降,通过调整参数完成能力提升;而这种新模式下,模型能力增长来自代码层面的不断迭代。知识不再隐藏在难以解释的神经网络权重里,而是变成人类能够阅读、理解和修改的程序。
这也是为什么越来越多人开始讨论“无梯度学习”。
过去十年,人工智能产业的发展几乎围绕一个核心原则展开:训练即学习。
但如果模型能够通过编写外部代码持续积累经验,那么训练和学习将被拆分成两个阶段。
基础模型负责提供通用能力。
代码系统负责持续成长。
这种架构有点像人类社会。
人类的大脑并不会记住所有知识细节,很多能力实际上储存在书籍、论文、数据库和软件工具之中。当我们需要解决问题时,往往是调用外部知识体系,而不是重新训练自己的大脑。
AI似乎正在向类似方向演化。
YC联合创始人Paul Graham提到,这种“写代码—验证—压缩”的循环,本质上与科学研究过程非常接近。
科学家提出理论。
设计实验。
验证结果。
修正假设。
然后形成新的知识体系。
某种意义上,这是一种主动探索,而不是被动记忆。
对于产业而言,这种变化可能带来更深远的影响。
目前训练最先进大模型的门槛越来越高,只有少数科技巨头拥有足够资金和算力。如果未来能力提升更多依赖代码生成与启发式学习,那么创新重心可能从训练基础模型转向构建更高效的“AI软件层”。
这与互联网时代的发展轨迹有些相似。
最初,行业竞争集中在操作系统和基础设施层面;后来真正创造巨大价值的,往往是建立在基础设施之上的应用生态。
AI领域或许也会出现类似变化。
当然,现在谈范式转换仍然为时尚早。
无梯度学习目前展示出的更多是潜力,而非成熟解决方案。复杂现实任务远比游戏环境困难,代码生成过程同样存在效率和稳定性问题。
但一个趋势已经越来越清晰。
过去行业相信“更大的模型解决一切”;如今越来越多研究者开始思考,是否可以让模型学会自己创造工具,并通过工具不断进化。
如果说过去十年的AI革命建立在参数扩张之上,那么未来十年的竞争,或许将围绕另一件事展开——如何让AI像工程师一样持续改进自己。
而这条路径的终点,可能不是更大的神经网络,而是一个能够不断重写自身认知系统的智能体。