Agent的自演进，被刚刚开源的AReaL 2.0按下了加速键

编辑｜杜伟

随着 Agent 从演示视频中的的的炫技片段逐步渗透至真实工作流与生产环境，其下一阶段的自演发展路径成为业界焦点。

近期，进被加速键Claude Code 创始人 Boris Cherny 在访谈中指出，刚刚Anthropic 内部几乎 100% 的开源工程师同时运行着上百个具备自我改进循环的 Agent【1】，这些 Agent 在每次运行中持续优化。按下此外，的的Anthropic 发布的自演《When AI builds itself》深度报告强调，AI 正接管自身研发流程，进被加速键并迈向递归自我改进阶段【2】。刚刚

这一趋势表明，开源Agent 正面临关键转折点：从「使用工具完成任务」向「在交互中学习并优化任务方法」演进。按下

然而，的的现实困境在于，自演尽管 Agent 能在软件工程、进被加速键客服、科研等场景运行，却难以在运行中实现能力跃升。每日产生的大量交互轨迹（成功路径、失败步骤、用户修正、工具调用结果等）多被视作日志或监控数据，鲜少被系统化转化为下一轮的能力提升资源。

这暴露了 Agent 进入生产阶段的核心缺口。蚂蚁集团联合香港科技大学、清华大学组成的 AReaL 团队认为，自演进的障碍不仅在于单一 RL 算法，更在于缺乏面向真实智能体服务的在线强化学习系统基础设施。

AReaL v1.0（3 月初发布）解决了大规模异步 RL 训练及 Agent 一键接入 RL 的问题；而今日上线的 AReaL 2.0将焦点推向 Agent 服务侧，旨在通过「会话式交互、轨迹采集、奖励绑定和异步训练」构建在线学习闭环。

AReaL 2.0 的核心优势在于：无需开发者重写 Agent，也无需推倒现有业务系统。

其核心思路是将原本服务于 Rollout 和训练的计算单元重组为可部署、可接入、可替换的 Agent-compute 微服务组件。只需将 Agent 的 LLM 推理后端切换至 AReaL 2.0 管理入口，即可在最小化改动原有规划、工具调用、沙箱和记忆模块的前提下，将真实交互流引入在线 RL 闭环。

目前，AReaL 2.0 技术报告已公开：

• 论文标题：Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents
• 论文地址：https://arxiv.org/pdf/2607.01120
• 项目主页：https://github.com/areal-project/AReaL

Agent 自演进的基础：构建学习闭环

要让 Agent 真正从使用中学习，首要任务是解决基础问题：如何将真实工作流中的交互转化为可学习、可治理、可回放的经验。

AReaL 2.0 的自演进架构由三大支柱构成：Agent Trajectory Data Protocol (ATDP)、Agentic Data Proxy以及 Agent Evolution Control Plane。

1. Agent Trajectory Data Protocol (ATDP)：面向学习的轨迹协议

普通日志仅记录用户提问、模型回答、工具调用、报错、延迟及 Token 消耗，这对调试有用，但对训练从经验中进化的 Agent 而言远远不够。

AReaL 团队定义的 ATDP 以步骤为单位记录完整决策过程，包括：
* Agent 的观察与内部状态/harness 信息；
* 选择的动作及其结果；
* 奖励或反馈到达的时间点；
* 元数据：模型版本、工具版本、租户、成本、权限及治理状态。

通过这种方式，复杂任务被拆解为可追责、可回放、可归因的学习样本。系统得以回答关键问题：究竟是哪一次检索、哪一个工具调用、哪段 Prompt 或记忆影响了任务成败？

2. Agentic Data Proxy：企业级数据代理

ATDP 定义了「记录什么」，Data Proxy 则解决「如何在真实生产系统中记录」。

Agent 通常连接模型、工具、检索系统、记忆、人类反馈、文件系统及浏览器操作。不同团队、租户和业务线面临不同的框架、数据权限及合规边界。若仅堆砌日志后补治理，风险极高。

Data Proxy 部署于关键边界，作为学习数据层，负责：
* 拦截、采集、脱敏、权限控制；
* 轨迹持久化、奖励收集及回放管理；
* 前置治理：在数据进入训练队列前，明确字段可见性、脱敏规则、训练资格及审计用途。

这是 Agent 自演进进入企业场景必须解决的现实问题。

3. Agent Evolution Control Plane：演进控制平面

自演进并非「出错即训练」。真实 Agent 由模型、Prompt harness、记忆、工具、路由策略和安全规则共同组成，不同类型的失败需对应不同的修复入口：
* 缺乏事实：优化记忆写入；
* 工具路由错误：调整 Tool Schema 或 Harness；
* 系统性失败：通过 RL、偏好优化、过程奖励学习或蒸馏更新策略模型。

控制平面的价值在于将「是否更新、更新何处」转化为可治理的系统性决策。它依据轨迹统计、用户修正率、工具失败簇、评估器得分、成本信号、安全约束及分布漂移，判断演进层级。在企业级系统中，每次更新需经过回放评估、离线回归测试、租户级安全检查、灰度发布及版本化追踪。

无法解释「改了什么、为何改、影响范围及回滚方案」的 Agent，难以称为真正的自演进系统。

这三大支柱共同构成了 Agent 自演进的基本闭环，确保真实工作流中的经验能稳定、安全地转化为能力提升的动力。

Online RL 微服务化：AReaL 2.0 的工程设计

理解三大支柱后，AReaL 2.0 的工程定位更加清晰。

AReaL 2.0 并未构建完整的自演进 Agent 基座，而是选择了一条关键路径：基于真实部署轨迹的在线策略模型更新。其工程重心在于将原有 RL 基础设施改造为可承接 Agent 服务流量的在线系统，解决核心问题：如何在最小改动业务代码的前提下，将已上线 Agent 的 LLM 推理请求接入 AReaL 2.0？

为此，AReaL 2.0 将训练、推理、权重更新等能力拆分为可独立使用、可组合、可扩展的服务组件，通过「解耦再组合」打通 Agent 应用与后训练系统。各组件由统一系统模块构建：

• Gateway（网关）：链路入口。
• 智能体服务：面向外部承接请求，支持 HTTP/WebSocket，或通过 OpenResponses bridge 提供兼容 /v1/responses的接口。
• 推理服务：承接智能体转接的会话，交由大模型服务推理并生成轨迹。
• 训练服务：作为训练数据入口，导入准备好的轨迹。

• Gateway 是在线 RL 运行时数据流转的第一道关口。

• Router（路由器）：会话分配与维护。

• Agent 任务常涉及多轮交互、工具调用及状态变化。若不同轮次分散至不同后端，将破坏上下文连续性。

• Router 维护 Session 与 Data Proxy 的绑定关系，确保同一会话后续交互落入对应数据代理，并为多 Data Proxy 与 Worker 的横向扩展提供基础。

• Data Proxy（数据代理）：会话状态与轨迹管理。

• 智能体服务中：保存 Session 历史，整理用户输入、上下文、队列模式及元数据为 AgentRequest，发送至后端 Worker。
• 推理服务中：记录同一会话的轨迹存储信息。
• 训练服务中：提供训练数据加载接口。

• 位于线上服务与训练数据之间，将普通 Agent 调用整理为可被训练系统消费的经验轨迹。

• Agent-Compute Worker（计算工作节点）：执行计算。

• 智能体服务中：接收 AgentRunnable 协议请求，执行单轮逻辑，通过 Emitter 收集增量、工具调用及返回事件。
• 推理服务中：实例化 SGLang、vLLM 等后端，执行推理与采样。

• 训练服务中：通过 Megatron、FSDP 等后端进行训练计算。

• Controller（控制器）：组件调度。

• 负责启动 Guard Worker，创建 Router、Worker 与 Data Proxy 组合，完成注册与服务启动。
• 处理扩容、缩容、流量排空及健康检查等运行时管理任务。

在 Controller 指挥下，微服务模块整体运行，支撑 AReaL 2.0 从线上请求接入、会话保持、轨迹采集到训练更新的完整链路。

AReaL 2.0 的 Online RL 工作流

传统 Agentic RL 常通过重构训练环境或抽象离线仿真任务进行，但离线环境与线上真实行为存在差距。AReaL 2.0 通过微服务化弥合这一差距，降低 Agent 接入 Online RL 的工程门槛，在保持原有 Agent Loop 不变的情况下，使真实服务轨迹成为可采集、训练与持续优化的可靠数据源。

AReaL 2.0 的角色由此从面向离线后训练的 RL 框架，延伸为连接 Agent 在线服务、轨迹采集、训练更新和运行时管理的可扩展系统。

从 Hermes 到 Claude Code：Agentic RL 的可复用路径

AReaL 2.0 的价值已在具体实践中得到验证，团队展示了多类 Online RL 范例，涵盖热门 Agent 接入及软件工程智能体训练。

1. Hermes Agent：低侵入式接入范例

在 Hermes Agent 范例中，AReaL 2.0 展示了低侵入式接入方式。开发者无需重写规划逻辑、工具调用、沙箱或记忆模块，只需将标准推理后端替换为 AReaL 2.0 管理的 Agent-Compute Worker，即可将真实交互纳入强化学习闭环。

此范例的价值在于可替换与复制。Hermes 仅是演示载体，核心是可复用的接入范式：开发者可将演示 Agent 替换为自身任务环境，复用 AReaL 2.0 的解耦接入、会话化交互与异步训练架构，搭建面向自身业务的 Agent Online RL 流程。

• 代码实例：https://github.com/areal-project/AReaL/tree/main/examples/hermes

2. Claude Code Agent：软件工程端到端实践

Claude Code Agent RL 范例更接近面向软件工程智能体的端到端实践参考，提供了一套可复现的算法与基础设施范例，覆盖数据处理、Agent Infra 建设和算法训练。

• 数据侧：筛选训练样本，仅保留至少有一个外部模型可解出的问题；改写种子 Issue 描述，使其更清晰并贴近 Golden Patch。
• Agent Infra 侧：基于底层大规模并发 Sandbox，结合分布式调度、毫秒级 Fork 启动和镜像预热能力，支撑数万个环境实例并发运行，减少脏数据生成，保证长时间训练稳定性。
• 算法侧：引入 KPop 等稳定化策略，针对训练引擎与推理引擎间的 LogP Diff 问题，进行 Token 级自适应过滤，降低训练后期崩溃风险。
• 安全与对齐：针对 Reward Hacking（如通过 Git 查答案），在 Harness 侧禁用部分 Git 操作；针对 Claude Code 等黑盒 Agent，采用 Token-in-Token-out 的对齐方式。

最终效果：模型经过 800 步训练后实现稳定涨分，为开发者复现 Claude Code Agent RL、替换自定义任务环境及构建软件工程 Agent 训练流程提供了完整参考。

• 代码实例：https://github.com/areal-project/AReaL/tree/main/examples/swe

这些范例表明，随着 Online RL 工程路径的成熟，Agent 自演进正从少数团队的定制化工程，转变为具备广泛复用、迁移和扩展基础的能力。

展望：从执行闭环走向学习闭环

当前 Agent 行业热点分散：Coding Agent 从 IDE 延伸至云端沙盒，处理 Issue、修复代码、生成 PR；MCP、A2A 等协议促进模型、工具、数据源及智能体互联；Skills、Subagents 和 Workflow 实现复杂任务的拆解、复用与编排。

与此同时，企业开始直面现实挑战：Token 成本控制、工具权限收口，以及 Agent 出错后的审计、追责与回滚。

这些变化指向一个共同趋势：Agent 正从单个智能体应用转变为生产系统的一部分。核心矛盾也随之演变：早期关注 Agent 能否调用工具、完成任务、跑通工作流；现在更迫切的问题是，执行过的任务、产生的轨迹、反馈和错误能否成为后续能力提升的「养料」。

AReaL 瞄准这一薄弱环节，补上了 Agent 缺失的关键链路：从执行闭环走向学习闭环。在这场面向生产的 Agent 基础设施竞争中，越能将真实使用过程转化为持续改进机制，Agent 就能「越用越强」。

当然，这条路仍在早期，更完整的自演进路径有待 AReaL 后续版本探索。为适配不同团队与算力平台，AReaL 坚持开源以融入主流强化学习基础设施生态，并于今年 5 月从蚂蚁 inclusionAI 孵化成为独立社区，加入 PyTorch 基金会 Ecosystem 项目。

依托 AReaL，社区伙伴正持续补齐生产环境中的关键能力：
* 华为云团队：提供 AReaL 在国产昇腾 NPU 上的端到端适配工作【3】。
* MindLab：提供基于 LoRA 面向低算力规模场景的端到端智能体强化学习服务化解决方案【4】。

这些贡献进一步丰富了 AReaL 作为 Agentic RL 基础设施的生态边界。

未来，AReaL 的探索将与开源社区的两条生态路线紧密结合：
1. 降低使用门槛：研发 AReaL-AutoPilot，让智能体参与 RL 方案的自动部署，包括自动生成训练与推理一体化 Kernel、搜索训练过程中的最优并行策略，以及监控 RL 训练曲线健康状态。
2. 统一适配标准：为不同芯片厂商提供更统一的 RL Infra 适配标准与接口，包括算子精度对齐、权重传输统一格式及标准化测试样例。

参考文献
1. https://x.com/0xMovez/status/2067642452991717790
2. https://www.anthropic.com/institute/recursive-self-improvement
3. https://areal-project.github.io/AReaL/en/tutorial/installation_npu.html
4. https://github.com/areal-project/AReaL-MinT

(责任编辑：知识)