年近70，强化学习之父Sutton创业了！

编辑｜泽南、年近70山辉

年近七旬的强化图灵奖得主、被誉为“强化学习之父”的学习理查德·萨顿（Richard Sutton）正式宣布创业。

本周一，创业萨顿与 Khurram Javed 联合创立了新公司 Oak Lab，年近70旨在突破当前深度学习的强化局限，通过全新的学习技术理念构建通用人工智能（AGI）。

核心理念：从“静态喂养”转向“运行时进化”

Oak Lab 的创业核心愿景是开发具备第一人称经验的 AI 智能体，使其能够独立、年近70持续地进行学习。强化

这一路径标志着 AI 范式的学习重大转变：
* 摒弃依赖：不再依赖人类标注的海量静态数据集进行预训练。
* 实时交互：AI 将像生物体一样，创业在与环境的年近70实时交互（Run-time）过程中，通过试错、强化反馈和进化，学习实现自我完善与能力迭代。

痛点洞察：LLM 的扩展性瓶颈

萨顿指出，当前大语言模型（LLM）的发展可能已触及天花板。现有模型主要依赖静态数据预训练，虽然具备强大的模仿能力，但存在本质缺陷：
1. 缺乏自我评估：无法有效评估自身输出的质量。
2. 缺乏探索能力：不具备主动发现新知识的能力，仅是对已有数据的重组。

技术路线：OaK 架构与万亿参数愿景

为打破僵局，Oak Lab 将聚焦于萨顿提出的 OaK 架构（Options and Knowledge，选项与知识）。

• 终极目标：构建拥有万亿参数规模的智能体。
• 极致能效：支持在仅 20 瓦的极低能耗下进行实时学习与规划。
• 实现路径：通过纯粹的经验累积，通向超级智能（AGI）。

去年 8 月，萨顿在 AGI-25 大会上详细阐述了 OaK 架构的设计理念，强调通过经验积累实现超级智能的可能性。

理念之争：《苦涩的教训》与 Scaling Laws

作为经典论文《苦涩的教训》（The Bitter Lesson）的作者，萨顿近年来对主流大模型路线持批判态度。他认为，当前的 Scaling Laws（缩放定律）并未真正贯彻其核心思想，这反映了顶尖 AI 学者在技术路线上的根本分歧。

萨顿强调，真正的智能核心在于“通用计算 + 自主经验学习”：
* 类比 AlphaGo：AlphaGo 初期学习人类棋谱，但真正击败李世石并进化为 AlphaZero 的关键，在于其通过强化学习在自我对弈中探索出了人类未知的招法。
* 增量知识：AGI 必须具备通过试错（Trial and Error）产生增量知识的能力，而非仅仅“咀嚼”已有数据。

值得注意的是，萨顿的学生、DeepMind 的 AlphaGo 之父 David Silver 已于今年 1 月宣布创业，其理念与导师一脉相承，均主张通过强化学习、环境互动及自我博弈来生成新知识。

技术深度：构建内部“世界模型”

LLM 的本质是序列预测，难以理解物理世界的因果关系。相比之下，OaK 架构追求的是运行时（Run-time）的持续学习。

• 动态更新：AI 应像生物一样，在与世界交互的每一秒更新内部模型，而非依赖定期喂给的数据集。
• 世界模型：核心在于让智能体建立关于环境的内部“世界模型”，并据此预测行为的长期后果。
• 长期规划：基于“选项（Options，即时间上延伸的动作）”的长期规划能力，是目前基于注意力机制的 Transformer 架构难以内生实现的。

人物背景：从学术奠基到实践突破

理查德·萨顿目前担任加拿大阿尔伯塔大学（University of Alberta）计算机科学教授。2024 年，他与安德鲁·巴托（Andrew Barto）共同荣获 ACM 图灵奖，以表彰其作为现代强化学习奠基人的贡献。

数十年来，萨顿始终围绕“机器如何持续学习”展开研究：
* 早期贡献：从时序差分学习（Temporal Difference Learning）到 Dyna 架构，不断尝试减少对固定训练流程和人工设定的依赖。
* 近期合作：近年来，他与 Khurram Javed 紧密合作，聚焦在线学习中的稳定性与适应性。其共同开发的 SwiftTD、Swift-Sarsa等算法，旨在让系统自主调节学习速度，并从海量动态输入中识别高价值信息。

如今，Oak Lab 的成立，标志着萨顿将其深厚的学术主张推向工程实践的大胆尝试。

(责任编辑：焦点)