北航、北大和美团联合提出：策略提升强化学习!

来自北京航空航天大学、北航北北京大学及美团的和美合提化学研究团队联合提出了 Policy Improvement Reinforcement Learning (PIRL)及其落地算法 PIPO。这项研究直击大模型 RL（强化学习）后训练中的团联一个核心盲区：传统方法往往默认“当前数据上的优化即代表策略增强”，却忽略了验证这一更新是出策否真正提升了模型能力。

PIRL/PIPO 的略提核心追问超越了传统的“如何学习当前轨迹”，转而关注：
1. 有效性验证：这一步更新后，升强模型策略是北航北否真的变强了？
2. 动态反馈：若策略提升，如何进一步巩固？和美合提化学若策略退化或产生负面影响，如何及时削弱或校正？团联

论文标题：Policy Improvement Reinforcement Learning
论文链接：https://arxiv.org/abs/2604.00860
代码仓库：https://github.com/JacckMa/pipo_verl

主要贡献

• 提出 PIRL 新视角：打破仅依赖当前批次奖励、优势估计或教师信号的出策局限，将跨迭代的略提策略提升（Policy Improvement）本身定义为优化目标。
• 构建 PIPO 闭环框架：设计了一种即插即用的升强闭环优化框架。PIPO 可无缝接入 PPO、北航北GRPO、和美合提化学DAPO 及自蒸馏等主流 RL 后训练算法。团联它在原有局部学习信号外层增加“回头验证”机制：
• 正向强化：对带来策略提升的更新方向进行放大与巩固。
• 负向抑制：对无效或有害的更新方向进行抑制、抵消或反向校正。
• 广泛场景验证：在数学推理、代码生成、工具调用及自蒸馏设置下，PIPO 均展现出对基础算法的一致性能提升。

背景：RL 后训练虽强，但仍是“开环”

近年来，RL 后训练成为大模型能力跃升的关键驱动力。从经典的 PPO，到推理任务中流行的 GRPO、DAPO、GSPO，再到利用模型自身反馈的 OPD 与自蒸馏，方法层出不穷。这些技术共同解决了一个核心问题：如何将当前采样轨迹的奖励、优势估计及执行反馈，转化为有效的参数更新，以探索更优策略。

尽管这些方法显著推动了策略进化，但它们普遍存在一个共性缺陷：优化主要局限于当前采样轨迹。算法专注于计算“当前这批数据该怎么学”，却鲜少显式验证“更新后的新策略是否优于历史基准”。

这种机制被称为开环优化（Open-loop Optimization）。开环并非意味着方法无效，而是指训练过程缺失了关键环节：更新后的效果验证以及基于验证结果的历史更新回溯校正。

真正的 RL 后训练不应仅盯着当前批次的局部信号，更需要引入跨时间的验证机制，以及对历史更新方向进行加权、抑制或校正的回溯调整能力。

PIRL：将“策略提升”转化为优化目标

理论证明显示，PIRL 的目标函数不会改变最终的优化方向。对于固定的初始策略，最大化累计策略提升与最大化最终策略性能是对齐的。这意味着，PIRL 并非否定奖励、优势或教师信号的价值，而是补全了它们缺失的一环：验证更新是否真正转化为策略提升。

PIPO：让训练过程学会“回头看”

基于 PIRL 理论，研究团队提出了 Policy Improvement Policy Optimization (PIPO)。其核心逻辑分为两步：
1. 基础探索：让基础算法正常执行探索与更新。
2. 回溯验证：在下一轮利用策略提升反馈，验证上一轮探索是否带来了实质性的策略进步。

• 若新策略优于历史基准：PIPO 判定上轮更新方向有效，从而进一步放大并巩固这一方向。
• 若新策略无提升或导致退化：PIPO 将削弱该更新方向的影响，必要时通过回溯校正，在优化意义上抵消有害更新。

因此，策略提升目标可被形式化为类似 PPO 的裁剪形式：

通过这种方式，PIPO 实现了在 PPO、GRPO、SDPO 等原有方法基础上的即插即用。它将单批次内的局部学习信号与批次间的历史表现紧密连接，为每次更新增加了一道关键判断：这次更新后，模型整体是否更强？
* 变强-> 巩固有效更新方向。
* 变弱-> 削弱有害更新影响。

由此，原本开环的 RL 后训练被转化为带有策略提升反馈的闭环优化过程。

实验验证

论文首先在数学推理任务上验证了 PIPO 的效果。
结果显示，接入 PPO、GRPO、GSPO、DAPO 后，PIPO 在平均表现和思考长度上均实现了显著提升。

PIPO 的效能不仅限于数学推理。研究进一步在代码生成和工具调用任务上进行了验证，并证实了其在自蒸馏设置下的提升作用。

结语：RL 后训练亟需“闭环”进化

过去，RL 后训练方法主要致力于回答：“当前这批轨迹该怎么学？”
PIRL/PIPO 则进一步追问：“这一步学完之后，模型真的变强了吗？”

这是本文最核心的观点：RL 后训练不能仅局限于当前批次的奖励、优势估计或教师信号。真正关键的是，每次更新后是否产生了可验证的策略提升，并据此对更新进行动态的强化或削弱。

• PIRL将“进步”本身定义为优化目标。
• PIPO将该目标转化为可接入现有算法的闭环训练框架。

如果说传统 RL 后训练是不断根据当前信号向前推进，那么 PIRL/PIPO 旨在让模型每走一步都“回头看”，确认自身是否在变强，从而巩固有效方向，校正有害影响。

(责任编辑：休闲)