调研报告 · Credit Assignment

Agentic RL 中的信用分配：方法谱系与选型指南

90Agentic 方法卡片
8方法族分类
26Reasoning 速查条目
1信号质量评估基准

本文系统调研面向 LLM 智能体强化学习（agentic RL）的信用分配方法：90 篇 agentic 方法按"信号来源 × 分配粒度"归入 8 大方法族并逐篇解析，另附 reasoning RL 侧 26 篇可迁移方法速查、4 篇信号质量评测与负结果审计（§5.2）、7 篇边界与相关工作索引（§8.2），最后给出横向对比、选型建议与开放问题分析。

0. 阅读指南1. 问题定义：为什么 agentic RL 的信用分配要单独成题2. 分类体系3. 方法族逐篇调研4. Reasoning RL 侧可迁移方法速查表5. 评测：基准与"信号质量"本身的评估6. 横向对比与选型建议7. 开放问题8. 附录：全量索引表
§ 0

0. 阅读指南

三条阅读路径：

你的目标建议路径
快速建立全景§1 问题定义 → §2 分类总览表 → §6 选型建议
为自己的 agent 训练选方法§2 决策树 → 对应族的卡片 → §6 成本/风险对照
找研究空白§7 开放问题 → §5 QVal 的负面结论 → §3 中 C / F 两族

需要说明的是：该领域的实验数字几乎不可横向比较。不同论文的 base model（Qwen2.5-1.5B 到 32B）、环境版本（ALFWorld / WebShop 的 split 和 max-turn 设置）、baseline 强度、rollout 预算都不同，提升幅度之间没有可比性。阅读时应优先看方法在什么条件下可用、额外计算开销多少，而不是提升幅度。

覆盖范围与交叉验证：§3 收录 2024.02–2026.09 的 90 篇 agentic 方法。其中 2024–2025 部分已与独立综述 From Reasoning to Agentic（69 篇语料，2026.04）及其配套社区清单（47 篇核心 + 28 篇新增）双向核对，无核心遗漏；2026 年部分按"方法是否直接改变稀疏结果信号的分配方式"的口径收入，不以分配机制为主贡献的边界工作单列于 §8.2。

§ 1

1. 问题定义：为什么 agentic RL 的信用分配要单独成题

1.1 基本设定

一条 agent 轨迹是 $\tau = (s_0, a_0, o_1, s_1, a_1, o_2, \dots, s_{T-1}, a_{T-1}, o_T)$，其中每个 $a_t$ 本身是一段 LLM 生成的 token 序列（thought + tool call），$o_t$ 是环境返回。训练时通常只有终局的可验证奖励 $R(\tau) \in \{0,1\}$。

信用分配问题：把这一个标量 $R(\tau)$ 分解到 token / segment / action / turn / agent 上，得到能指导梯度的稠密信号。

1.2 从 reasoning RL 到 agentic RL 的四个结构性变化

这四点决定了 reasoning RL 的方法无法直接搬到 agentic 场景：

变化reasoning RLagentic RL直接后果
转移的随机性确定性（自回归续写）环境返回 $o_t$ 随机、可能不可复现MC value estimate 需要环境快照/可回滚，否则方差爆炸
可观测性全信息（prompt 已给全）部分可观测（大 codebase、网页只看到一屏）"这一步好不好"依赖训练时才有的特权信息 → 非对称 critic
动作的可逆性每一步都可重采样rm、下单、提交 PR 不可逆从中间状态 branch 采样在很多环境里根本做不到
horizon 与状态重合度500–30K token，单链100+ turn，100K–1M token；不同轨迹很少经过同一状态依赖"同状态分组"的方法（GiGPO 式 anchor grouping）在开放环境失效

1.3 稀疏结果奖励在 agentic 场景的四类失效模式

各篇论文反复指出的是以下四类问题，可作为阅读时的分析清单：

  1. Advantage collapse：一组 rollout 全对或全错 → GRPO 组内优势恒为 0，该 prompt 不产生学习信号（IGPO、PRS/VSPO 明确点出）。
  2. 前缀被污染 / 后缀被漂白：一条失败轨迹里有大量正确的中间决策被一起惩罚；一条成功轨迹里的冗余、回退动作被一起奖励（TRIAGE 明确刻画了这两个盲点；PivoARL 用"隔离错误后缀"来缓解）。
  3. 粒度错配：环境是按 turn 转移的，优化却在 token 级 MDP 上做，importance ratio 和 clipping 都作用在错误的单元上（SORL、Turn-PPO、AEM 的共同出发点）。
  4. 训练不稳定 / 崩塌：off-policy IS 高方差 + 不准的 advantage → 梯度尖峰、entropy 塌陷、"Echo Trap"（RAGEN、SORL、T²PO、Dr. MAS）。

方法界定标准：一个方法是否在做信用分配，看它是否改变了"稀疏结果信号如何落到 token/turn/action/agent 上"。只改变采样、课程或奖励绝对值大小的属于相邻工作（§3 中对这类条目标注为 近核心）。

§ 2

2. 分类体系

2.1 轴一：信用承载单元（granularity）

token
segment
action
turn
episode prefix
细
粗
方差大、语义弱方差小、与环境转移边界对齐
承载单元含义代表方法
token单个生成 token——粒度最细、语义最弱POAD、OPID、SDAR
segment语义完整的连续片段（一段推理、一个 thought 段），介于 token 与 action 之间TRIAGE、SCRIBE、Adaptive Segment Reward
action（step）单次环境交互动作（一次工具调用、一次代码执行）——RL 文献中的 step（MDP 时间步）即对应这一级：一个 step = 一次 action 及其环境反馈，论文中的"step 级奖励/PRM"均落在本档AgentPRM、GiGPO、VPR
turn一轮完整交互（可包含多个 action）——agentic RL 的自然决策边界；A³ 进一步将相邻 action 构成的子链作为残差单元Turn-PPO、SWEET-RL、IGPO、AEM、A³
episode prefix轨迹前缀，用于定位"从哪一步开始错"PivoARL

多智能体场景在此基础上多一个正交的主体轴（agent → team）：信用先沿主体轴分解到各 agent，再沿粒度轴分解到具体 step。因此 H 族方法在 §2.4 决策树中是叠加项而非替代项。

关键洞察：agentic RL 的"自然决策边界"是 turn/action，不是 token。因此近两年的主流是"turn 级承载 + token 级施加"——在 turn 粒度上算 advantage，再广播到该 turn 的 token 上（Turn-PPO、A²TGPO、AEM 都是这个模式）。

2.2 轴二：信用信号从哪来（主分类）

这是本文的主分类轴，因为它直接决定工程可行性：需不需要额外模型、需不需要环境快照、需不需要人工标注。

族信号来源代表方法额外成本主要风险
A. 学习型评估器训练一个 value / PRM / criticArCHer, AgentPRM, SWEET-RL, CriticSearch, SPA-RL, StepAgent, SWE-TRACE, PRO-CUA, VisCritic, HyGAE, SAPO训练+推理一个额外模型critic bias；critic 分布漂移
B. Critic-free 分组与反事实组内 / 兄弟 rollout / 树分支的相对比较GiGPO, AT²PO, CRAFT, PivoARL, A³, ProxMO, CVT-RL, TACO, PATR, HPO, CBPO, IAPO, PGPO, TIGPO额外 rollout 或状态快照需要可 branch 的环境；状态重合度假设
C. 内在信号策略自己的 log-prob / belief 变化IGPO, A²TGPO, ΔBelief-RL, ITPO, iStar, Progress Advantage, OPID, SDAR, TIPS, IG-Search, ReBel, PBSD, HERO, LOTAPO, TRACE, BiCAA, AgentOPSD, FactUtility近零（复用已算的 logits）只是相关性不是因果；需要已知 target
D. 可验证过程反馈符号 oracle、编译/测试/shell 执行结果VPR, GVPO, PRS, Turn-Level Reward Design, ADMIRE, SERL, GDCR+SAPO, TCPO, FARCA, VICT需要构造 verifier依赖 oracle 质量；proxy 可能被博弈（reward hacking）
E. LLM 语义评判另一个 LLM 读轨迹打分/归因TARL, HCAPO, TRIAGE, SCRIBE, LaRe, ARBOR, ARCO, RCCA, DRACO每轨迹若干次 judge 调用judge 噪声与方差较大、存在谄媚倾向
F. 关键性筛选与不确定性调制entropy / uncertainty 作为"哪里重要"的代理CARL, APPO, AEM, T²PO, HiDiffTIR, VoT近零entropy≠因果重要性（APPO 的 pilot 分析给出了反例）
G. 粒度对齐与稳定化不新增信号，改变信号被消费的方式Turn-PPO, POAD, SORL, PilotRL, RAGEN, Agent Lightning, Adaptive Segment Reward, DuCA, ATOD, RSPO, RTPO, DARS低只解决方差/稳定，不解决"哪一步错"
H. 多智能体分解在时间维之外再加 agent 维M-GRPO, Dr. MAS, C3, CCPO, SHARP, MAPPA, LLM-MCA, QLLM, Orchestration Traces, TRACER组合式干预交互效应；free-riding

2.3 两轴交叉：这个领域实际被占据的格子

tokensegmentaction/turnprefixagent/team
A 学习型评估器ArCHer(低层)–AgentPRM, SWEET-RL, CriticSearch, SWE-TRACE, PRO-CUA, VisCritic, HyGAE, SAPO––
B 分组/反事实CRAFT, CBPO–GiGPO, AT²PO, A³, ProxMO, CVT-RL, TACO, PATR, HPO, IAPO, PGPO, TIGPOPivoARLC3, CCPO
C 内在信号OPID, SDAR–IGPO, A²TGPO, ΔBelief-RL, ITPO, TIPS, IG-Search, ReBel, PBSD, HERO, LOTAPO, TRACE, BiCAA, AgentOPSD, FactUtility––
D 可验证反馈FARCA–VPR, GVPO, PRS, ADMIRE, SERL, GDCR+SAPO, TCPO, VICT––
E LLM 评判RCCATRIAGE, SCRIBE, ARBOR, ARCO, DRACOTARL, HCAPO–LLM-MCA, MAPPA
F 关键性筛选APPO–CARL, AEM, T²PO, HiDiffTIR, VoT––
G 粒度对齐POADAdaptive Segment, DARSTurn-PPO, SORL, DuCA, ATOD, RSPO, RTPOPilotRLAgent Lightning
H 多智能体––TRACER–M-GRPO, SHARP, Dr. MAS, QLLM

目前覆盖较少的组合：prefix × 各族（仍只有 PivoARL 显式定位"从哪一步开始错"）、token × 可验证反馈（FARCA 是目前唯一代表）、segment × 学习型评估器（仍为空）。

2.4 决策树：给定约束怎么选

你的环境有可靠的中间 verifier 吗（编译器/测试/shell/符号 oracle）？
├─ 有 ─────────────────────▶ D 族（VPR / GVPO / PRS）：收益/成本比最高，可优先考虑。
└─ 没有
   │
   └─ 能从中间状态 branch / 回滚 / 重采样吗？
      ├─ 能 ──▶ 状态重合度高（网格/结构化环境）？
      │         ├─ 高 ──▶ B 族 anchor grouping（GiGPO）
      │         └─ 低 ──▶ B 族 树/兄弟 rollout（AT²PO / CRAFT）或局部重试（PivoARL）
      └─ 不能
         │
         └─ 能接受额外训练/调用一个模型吗？
            ├─ 能 ──▶ 训练时有特权信息（gold answer / 完整轨迹）？
            │         ├─ 有 ──▶ A 族非对称 critic（SWEET-RL / CriticSearch）
            │         └─ 没有 ▶ A 族 TD critic（AgentPRM / ArCHer）或 E 族 LLM judge（TARL / TRIAGE）
            └─ 不能 ──▶ C 族内在信号（IGPO / A²TGPO / ΔBelief-RL / ITPO）
                        ※ 前提：训练时知道 target answer，才能算 belief 变化

以上任一路径 + 奖励被多个 agent 共享？  ──▶ 叠加 H 族（inter-agent 分解 × intra-agent 时间分解）
以上任一路径 + 训练崩塌 / 梯度尖峰？    ──▶ 叠加 G 族（SORL / Dr. MAS / StarPO-S）
§ 3

3. 方法族逐篇调研

演进脉络：从分层范式到信号多元化

2024｜范式奠基。ArCHer（2024.02）把"turn 级 critic + token 级 actor"的分层结构引入多轮 LLM RL，确立了 turn 作为信用承载单元的地位；POAD（2024.05）从 Bellman 方程的动作分解给出粒度对齐的理论基础。同年末出现三条后续路线的原型：专家对比型 critic（StepAgent）、segment 级奖励塑形（Adaptive Segment Reward）、LLM 抽取 latent reward（LaRe）。

2025 上半年｜信号工程化。LLM-MCA（2025.02）把 LLM critic 引入多智能体奖励分解；SWEET-RL（2025.03）用训练时特权信息降低 critic 估计难度；RAGEN（2025.04）系统记录了多轮 RL 的 "Echo Trap" 崩塌现象；GiGPO（2025.05）的 anchor state grouping 开创了不训练任何评估器的反事实路线；Turn-Level Reward Design（2025.05）给出了"turn 级稠密奖励优于 token 级"的早期实证。

2025 下半年｜critic-free 与内在信号兴起。iStar（2025.09）用 trajectory-DPO 从偏好对中恢复隐式 step 奖励；TARL（2025.09）让 LLM judge 做 turn 级裁决；IGPO（2025.10）把信息增益确立为内在信用信号。年末注意力转向"信号如何被消费"：粒度对齐（SORL、Turn-PPO）、可验证过程反馈（PRS + VSPO）、关键性筛选（CARL）与多智能体归一化（M-GRPO）同时成形；Agent Lightning（2025.08）则把训练框架问题单独提了出来。

2026 上半年｜方法族爆发与精细化。反事实重采样走向树结构与关键 turn 定位（AT²PO、A³、CRAFT、PivoARL）；内在信号扩展到 belief 变化与技能蒸馏（ΔBelief-RL、ITPO、A²TGPO、SDAR、OPID）；LLM judge 从自由打分收敛到结构化角色归因（SCRIBE、HCAPO、TRIAGE）；多智能体信用分配系统化（MAPPA、Dr. MAS、SHARP、C3、CCPO）。

2026 下半年｜verifier 侧追踪与理论化。2026.07 之后新收录 30 余篇，出现两个上半年没有的方向。其一，从 rollout 侧推断转向 verifier 侧追踪：不再从轨迹侧估计动作重要性，而是打开评估器的内部结构——VICT 沿 verifier 的依赖证明边回传终端信用，RCCA 把 rubric 归因对齐到代码 span 与 token，DRACO 把动态 rubric 的单次轨迹打分闭式重分配到负责的步。其二，理论化：VoT 用策略方差刻画"关键 fork"并给出采样复杂度的精确下界，为 CARL 式 entropy 筛选提供了理论基础；Coverage Not Targeting 提出 verifier 信息密度 V_d，证明在终端验证场景（tau²-bench 实测 V_d≈0.15）下"覆盖"是一阶问题而"定向"是二阶的。同期方法族继续扩张：学习型 critic 进入 GUI / 多模态与 SWE 场景（VisCritic、HyGAE、PRO-CUA、SWE-TRACE），反事实线走向影响依赖图与跨策略持久转移图（IAPO、TIGPO），内在信号线引入贝叶斯校准与信念状态（PBSD、AgentOPSD、ReBel）。

评估的转向：从基准到审计。QVal（2026.06）绕开任务成功率、直接评估稠密信号本身的质量，其"简单 baseline 一致优于较新的稠密监督方法"的结果提供了第一个可复现的信号质量基准。此后审计迅速加深：ASV（2026.07）证明同一 step 奖励换个评估通道符号即可反转（跨通道不一致超同通道 48pp）；Credit Without Ground Truth（2026.08）用执行重放审计发现 LLM-judge、logprob 比率、策略置信度三类信号对 step 贡献的保真度都不显著优于打乱对照，且七臂预注册训练无一臂超过未训练策略——方法比较中的表观差异可能只是"剂量"差异；Coverage Not Targeting（2026.09）则给出了"什么时候才该做定向"的结构判据。四篇合起来把这个领域的方法论门槛整体抬高了一截（详见 §5.2），也是本文 §6.3 结构性判断的直接依据。

以下卡片在各族内部按发表时间先后排列（工具栏可切换为最新优先）；卡片右上角标签为发表年月。

族
24Q1
24Q2
24Q3
24Q4
25Q1
25Q2
25Q3
25Q4
26Q1
26Q2
26Q3
A
ArCHer
StepAgent
SWEET-RL
SPA-RL
AgentPRMCriticSearch
SWE-TRACEPRO-CUAVisCritic
HyGAESAPO
B
GiGPO
AT²POProxMO
A³CVT-RLCRAFTTACO
PivoARLPATRHPOCBPOIAPOPGPOTIGPO
C
iStar
IGPO
ΔBelief-RLTIPSITPO
IG-SearchA²TGPOSDARReBelPBSDHEROProgress AdvantageOPID
LOTAPOTRACEBiCAAAgentOPSDFact Utility
D
Turn-Level Reward Design
PRS + VSPO
ADMIRE
VPRSERLGDCR + SAPO
TCPOFARCAVICT
E
LaRe
TARL
SCRIBEHCAPO
ARBORARCOTRIAGE
RCCADRACO
F
CARL
AEMT²POAPPO
HiDiffTIRThe Variance of Thought
G
POAD
Adaptive Segment-Level Reward
RAGEN / StarPO
PilotRL / AdaPlanAgent Lightning
SORLTurn-PPO
DuCA
ATOD
RSPORTPODARS
H
LLM-MCA / LLM-TACA
QLLM
M-GRPO
MAPPASHARPDr. MASC3CCPO / SEPO
RL for LLM-based Multi-Agent Systems through Orchestration TracesTRACER
评测
QVal
悬停标签查看完整标题；GVPO（OpenReview，2026）发表月份未知，未列入时间线。

A. 学习型评估器：价值函数、PRM 与非对称 critic

共同思路：训练一个额外的模型来预测"从这个状态还能不能成功"，用它的输出或差分做 turn 级奖励/优势。

共同代价：多一个模型的训练与推理；critic 的偏差会直接注入策略梯度。

这一族的技术差异主要体现在"标签从哪来"：TD bootstrapping（AgentPRM）、训练时特权信息（SWEET-RL、CriticSearch）、专家对比（StepAgent）、累加约束（SPA-RL）。

ICML 20242024.02
arXiv ↗
核心问题 / 背景

主流 LLM RL 方法只优化单轮奖励，结构上无法赋予模型跨多轮寻求信息、做信用分配、反思过去动作的能力；而直接把 PPO 套到长 horizon 上又会因延迟奖励失效。

具体方法
1采用分层 RL，并行跑两个 RL 算法
2高层是 off-policy、value-based 的 RL，在 utterance（turn）粒度上聚合奖励，学一个 turn 级 value function
3低层是 on-policy 的 token 级策略优化（如 PPO），把高层 value function 当作该 turn 内 token 策略的优化目标
4这个框架是通用的 recipe，替换高/低层算法可衍生出其他方法。

技术创新：

首次把"turn 级 critic + token 级 actor"的分层结构确立为多轮 LLM RL 的标准范式——高层用 off-policy 换样本效率，低层用 on-policy 换稳定性，同时保留现成单轮 RL 方法的灵活性。这一"两层时间尺度"结构被后续几乎所有 turn 级方法继承。

实验设置和结果

5 个多轮环境（Detective Game、Twenty Questions 子集与完整版、Guess My City、WebShop），基座 Llama-2-7B，对照 PPO、CHAI、Filtered BC，离线变体的高层接 IQL。在需要挖掘隐藏信息或初始状态多样的 4 个较难任务上收敛性能显著高于全部 baseline，样本效率相对既有方法约 100×，且性能随模型容量增大持续改善（测试到 7B 规模）。

2024.11
arXiv ↗
核心问题 / 背景

现有 agent 数据集只为整条多步链提供一个终局标量奖励，稀疏奖励使策略学习既低效又无效。

具体方法
1借"novice-to-expert"思想，逐步对比 expert 动作与 agent 动作，自动生成中间奖励用于细粒度优化
2引入 implicit-reward 技术促成 agent 的自我反思
3引入 inverse RL 从专家示范反推奖励函数，指导策略调整
4理论分析证明多轮训练后 agent 的动作分布可收敛到专家动作分布。

技术创新：

用 IRL + 专家逐步对比 造 step 级信号——不需要环境 verifier 也不需要额外 rollout，前提是可获得专家轨迹。理论上给出了向专家分布收敛的保证。

实验设置和结果

7 个数据集覆盖三类任务——Web 任务（WebShop、Mind2Web）、agent 任务（ScienceWorld、ALFWorld）、多跳 QA（HotpotQA、2WikiMultihopQA、MuSiQue）；backbone 为 Mistral-7B 与 Llama3-8B，对照 SFT / PPO / DPO / RFT / SPIN / NAT / ETO。两个变体在全部任务上超过所有开源 baseline：Llama3-8B 下 ALFWorld success rate 76.1%（最强 baseline ETO 为 73.4%）、WebShop 67.6、HotpotQA EM 37.8（ETO 分别为 65.7、35.2）；消融显示 step 奖励与终局奖励合用最优（ALFWorld 76.2%）。

Meta / FAIR2025.03
arXiv ↗
核心问题 / 背景

现有多轮 RL 算法既做不好跨轮信用分配，又发挥不出 LLM 的泛化能力，而且缺少刻画"与人协作多轮完成真实任务"的评测环境。

具体方法
1先构造 benchmark ColBench：agent 与一个人类协作者多轮交互，完成后端编程与前端设计的真实任务
2提出 SWEET-RL（RL with Step-WisE Evaluation from Training-time information）——用一个精心设计的优化目标训练 critic，这个 critic 可以看到只有训练时才有的额外信息（如参考解）
3critic 输出 step 级奖励用于改进策略模型。

技术创新：

非对称 critic（asymmetric actor-critic） 的代表作：critic 拿特权信息、actor 不拿。这绕开了"部分可观测环境下 critic 无法判断中间步好坏"的困难——判断"这一步是否朝着参考解走"比判断"这一步是否会成功"容易得多。同时 critic 的训练目标被设计为直接服务于 step 级奖励质量，而非单纯拟合 return。

实验设置和结果

自建 ColBench 基准，含 Backend Programming（以单元测试通过率与 success rate 评判）与 Frontend Design（以与参考页面的余弦相似度评判）两类真实人机协作任务，基座 Llama-3.1-8B-Instruct。相对其他 SOTA 多轮 RL 算法 success rate 与 win rate 绝对提升 >6%，使 Llama-3.1-8B 在真实协作内容创作上达到或超过 GPT-4o。

2025.05
arXiv ↗
核心问题 / 背景

agentic 任务的奖励只在任务完成后给出（延迟奖励），难以把它归因到更早的动作，导致模型得不到关于环境约束的指导。

具体方法
1核心假设——任务的最终完成来自各步累积的 progress
2训练一个轻量 progress estimator，约束条件是"沿轨迹把每步贡献累加起来要等于任务完成度"，从而把最终奖励分解为逐步贡献
3策略优化时，把估计出的每步贡献与"动作是否在环境中真正执行成功"的 grounding 信号结合，作为细粒度中间奖励。

技术创新：

加性分解约束（per-step contributions 求和 = final completion）是这里的关键——它把 reward redistribution 变成一个有约束的回归问题，无需 step 级标签也无需额外 rollout，且 estimator 只是一个小 MLP，开销极小。另外它显式把 "grounding（动作可执行性）" 和 "progress（推进度）" 分成两路信号。

实验设置和结果

在 Webshop、ALFWorld、VirtualHome 上，相对 SOTA 平均 success rate +2.5%、grounding accuracy +1.9%。代码：https://github.com/WangHanLinHenry/SPA-RL-Agent

The Web Conference2025.11
arXiv ↗
核心问题 / 背景

reasoning 里每一步可以按"对/错"打分，但 agent 任务的动作没有清晰的正确性——一个动作该按"离目标多近（promise）"和"推进了多少（progress）"来评价。同时，用 MC 采样给每一步打标签在长 horizon 下算力上不可行。

具体方法
1重新定义面向 agent 的 PRM，让分数同时刻画序贯决策之间的依赖和对最终目标的贡献（promise + progress 两个语义）
2用 TD-based estimation + GAE 生成训练标签，而非 MC rollout，从而可扩展地拿到标注数据
3训练出的 AgentPRM 既可用于 test-time 搜索/重排，也可直接接入 agent 的 RL 训练。

技术创新：

把"agent 的一步该怎么评价"从正确性重定义为 promise（前景）+ progress（进展）；并用 TD+GAE 替代 MC 采样来造标签，这是该族里 label 效率提升的关键一招（TD bootstrap 复用了后继状态的估值，不必把每个前缀都 rollout 到底）。

实验设置和结果

三个 agent 任务——WebShop、BabyAI、TextCraft，基座 Qwen2.5-0.5B/3B/7B-Instruct 与 Llama3.1-8B-Instruct，对照 ORM / PVM 类 reward model baseline。Qwen2.5-3B 下算力效率高 8× 以上；Best-of-N 评测中随 test-time compute 放大稳健提升，优势在 7B/8B 规模保持。论文另有分析展示将 AgentPRM 用于 LLM agent 的 RL。

ACL2025.11
arXiv ↗
核心问题 / 背景

搜索类 Tool-Integrated Reasoning agent 的 RL 训练受稀疏结果奖励拖累，探索低效、训练不稳。

具体方法
1训练时引入一个冻结的、非对称的 critique LLM
2该 critic 事后（retrospectively）逐 turn 评估——评估时它能看到完整轨迹和 gold answer 这类特权信息
3把评估结果转成稳定的稠密 turn 级奖励，驱动策略改进。critic 冻结，不参与训练。

技术创新：

将非对称 critic 简化为完全冻结、只在事后评估，因此不引入 critic 训练成本与训练不稳定；"回溯 + 特权信息"两个条件叠加使 turn 级判断的噪声大幅降低。

实验设置和结果

HotpotQA 上训练，在 HotpotQA（in-domain）与 2WikiMultihopQA、MuSiQue、Bamboogle（out-of-domain）上评测；策略为 Qwen2.5-3B/7B-Base，critique 模型为同规模 Instruct（冻结不微调）。平均 EM：3B 34.3、7B 38.4（HotpotQA 分别 41.4 / 44.2，Bamboogle 7B 达 47.2）；论文报告相对最强稠密奖励 baseline（StepSearch）提升 +16.7%（3B）/ +6.7%（7B），同时收敛更快、训练更稳。

2026.04
arXiv ↗
核心问题 / 背景

真实软件工程任务的 agent 需要长 horizon 推理，现有 pipeline 被三个瓶颈叠加拖累：演示数据未优化、执行奖励稀疏、推理时扩展计算昂贵——表现为 token 膨胀、reward hacking 与策略退化。

具体方法
1数据端：用 LLM 多任务级联 + 逐步 oracle 验证，蒸馏出 60K 条严格偏向 token 高效、最短路径轨迹的 SFT 语料
2训练端：Memory-Augmented Agentic RL pipeline，核心是一个 Rubric-Based PRM——由辅助 Rubric-Agent 对中间步给出稠密、细粒度的启发式反馈，缓解稀疏结果奖励的不稳定
3推理端：把同一个 PRM 复用为 test-time scaling 的启发式评估器，每步动态评估并剪枝动作候选。

技术创新：

同一个 Rubric-PRM 贯穿数据、训练、推理三段生命周期——它既是轨迹筛选器、又是 RL 的稠密奖励源、又是推理时的搜索启发式，把训练与推理桥接起来；启发式剪枝避免了标准并行采样的延迟开销。

实验设置和结果

标准 SWE benchmark 上达到 SOTA，在最大化 resolution rate 的同时大幅降低 token 消耗与推理延迟（具体数值以原文为准）。

2026.05
arXiv ↗
核心问题 / 背景

Computer Use Agent（CUA）的训练受制于昂贵的真实环境交互与稀缺的高质量监督：过滤式行为克隆存在模仿瓶颈（相对专家演示的分布偏移、缺少负信号），而标准轨迹级 RL 在长 horizon GUI 交互下奖励稀疏、信用分配模糊、基础设施成本高。

具体方法
1把 on-policy 环境交互与策略优化解耦：当前策略在真实环境中 rollout 收集状态
2对每个状态生成多个候选动作，由 过程奖励模型（PRM）给出 step 级反馈
3以 group-relative 优势优化策略。

技术创新：

在 agent 自己的执行状态上做 PRM 引导的 step 级迭代 RL——既获得稠密灵活的信用分配，又不依赖 golden answer 或离线专家轨迹，同时缓解分布偏移。

实验设置和结果

真实 web benchmark（live environment）上验证了 PRO-CUA 的有效性与 PRM 引导 step 级训练的可靠性（具体数值以原文为准）。

2026.06
arXiv ↗
核心问题 / 背景

GUI agent 在长 horizon 场景频繁失败，根因是缺少 step 级验证；现有过程奖励模型只通过文本推理解释动作，丢失了 GUI 状态变化的视觉本质。

具体方法
1用 Siamese 视觉 Transformer 直接比较动作前/后的截图，提取变化感知表示
2配合 Action-Aware Critic Head 联合评估动作成功、任务进展与错误类型
3设计 critic 训练数据构造 pipeline，从现有轨迹生成弱监督样本，无需额外人工标注。

技术创新：

把过程奖励的判据从"文本描述的状态"换成"视觉特征空间里的状态差分"——对 GUI 这类状态本质是像素的任务，文本化中间表示本身就是信息瓶颈；VisCritic 是即插即用模块，可挂在多种 GUI agent 上。

实验设置和结果

5 个 benchmark 的在线实验与离线分析表明，VisCritic 对多种 GUI agent 普遍提升指标，并提供可视化的诊断线索（具体数值以原文为准）。

2026.07
arXiv ↗
核心问题 / 背景

VLM agent 的多轮决策训练存在两种各有缺陷的粒度路线——在拼接 token 轨迹上做 token 级优化，或 turn 级优化但 turn 内信用均匀分配。两条路线此前没有统一的形式化。

具体方法
1为 token 级与 turn 级两级优化分别建立理论形式化，并推导出同时服务两个目标的混合优势（hybrid advantage）
2证明在适当选择折扣因子与学习目标时，一个统一 critic 可同时估计 turn 级与 token 级价值
3据此构建 actor-critic 框架，用混合优势与统一 critic 联合优化两级目标。

技术创新：

给出了 token/turn 两级优势解析形式的统一理论——"混合优势的解析形式与 return 定义对优化至关重要"有理论保证；统一 critic 设计避免训练两个价值模型。

实验设置和结果

5 个多轮决策环境上平均成功率 91%，相对其他方法提升约 +10%；附混合优势形式的消融分析。项目页：https://wx-zhang.github.io/hygae-web/

2026.08
arXiv ↗
核心问题 / 背景

critic-free 组相对方法（GRPO 类）有三个局限：(1) 缺乏显式的价值泛化与有效的时间信用分配；(2) 长 horizon 复杂任务上可能出现优势坍塌；(3) 采样预算与策略性能之间的权衡昂贵。

具体方法
1策略与价值函数共享单个自回归 backbone，在因果边界处分头产出 policy 与 value 预测，参数完全共享
2独立优化 PPO 目标与辅助的 on-policy SARSA 目标
3提出轨迹级广义优势估计器（λ-return + batch 归一化）以稳健估计每个 turn 的贡献——单条 rollout 即可完成价值学习，无需组对比。

技术创新：

利用 LLM 的自回归结构让 policy 与 value 在同一 backbone 上共存，消掉独立 critic 模型的显存开销；把"单 rollout"与"turn 级信用"两个此前被认为互相排斥的目标同时实现。

实验设置和结果

ALFWorld 与 WebShop，Qwen2.5-1.5B/7B。相对 PPO 平均 +15.1 个百分点、相对 GRPO +12.1 个百分点；省去独立 critic 的显存，每迭代运行时间比 PPO 减少 33.2%。项目页：https://github.com/dy-liang/SAPO

B. Critic-free 分组基线与反事实重采样

共同思路：不训练 critic，而是靠"同一状态/同一决策点上的多个替代动作"互相比较来定优势。

共同前提：环境要能 branch、能回滚，或者轨迹之间要有可对齐的结构。

关键分歧点：怎么找到"可比较的对照组"——重复状态（GiGPO）、树的兄弟节点（AT²PO）、GRPO 已经采好的兄弟 rollout（CRAFT）、AST 结构（A³）、错误发生点（PivoARL）。

NeurIPS 20252025.05
arXiv ↗
核心问题 / 背景

GRPO 这类 group-based RL 在单轮数学任务上很成功，但扩到多轮 agent 训练时，交互跨很多步、奖励稀疏或延迟，逐步信用分配变得困难；同时希望保留 critic-free、低显存、稳定收敛这些优点。

具体方法
1两层 advantage 结构
2episode 级：对完整轨迹分组，算宏观相对优势（就是标准 GRPO）
3step 级：提出 anchor state grouping——事后扫描所有轨迹，找出跨轨迹重复出现的相同环境状态，把源自同一状态的动作聚成一组，在组内算微观相对优势
4两层优势加权合成，全程不用辅助模型、不加额外 rollout。

技术创新：

anchor state grouping 是全篇的核心机制：它意识到 GRPO 的一组 rollout 里本来就隐含了大量"同状态不同动作"的天然对照实验。从而以零额外成本获得 step 级反事实基线——无需 critic、无需额外采样、无需环境快照。这也是它的局限：开放环境中状态很少精确重合，该机制会退化（iStar 把"state overlap 稀少时失效"列为要解决的问题）。

实验设置和结果

ALFWorld、WebShop 及 search-augmented QA，Qwen2.5-1.5B/3B/7B-Instruct。相对 GRPO：ALFWorld >+12%、WebShop >+9%；QA 上 3B 达 42.1%、7B 达 47.2%。且显存开销相同、LLM rollout 数量相同、几乎无额外时间成本。

ACL2026.01
arXiv ↗
核心问题 / 背景

多轮 agentic RL 同时面临三个问题——探索多样性不足、信用分配稀疏、策略优化粒度与决策粒度不对齐。

具体方法
1构建 turn 级树结构来组织 rollout
2Entropy-Guided Tree Expansion：按 entropy 决定在哪些 turn 上展开分支，实现有策略的探索
3Turn-wise Credit Assignment：沿树把稀疏的终局结果向上传播，得到细粒度 turn 级奖励
4另提出 turn 级学习目标 ATPO，把策略更新对齐到 agentic 交互的自然决策粒度——ATPO 与树搜索正交，可单独插入任何多轮 RL pipeline。

技术创新：

把"探索"和"信用分配"用同一个 turn 级树统一起来：树的分支既是探索手段，又天然构成 turn 级的对照组。并且刻意把 turn 级优化目标（ATPO）与树搜索解耦，降低了落地门槛。

实验设置和结果

7 个搜索 agent benchmark（单跳与多跳 QA，含 HotpotQA、2Wiki、MuSiQue），基座 Qwen3-4B/8B 与 Qwen2.5-7B。相对 SOTA baseline 平均最高 +1.84 个百分点；ablation 验证各组件有效。代码：https://github.com/zzfoutofspace/ATPO

2026.02
arXiv ↗
核心问题 / 背景

组相对方法依赖离散批次内的统计偏差来定基线，在真实部署中任务难度波动时会系统性误分配信用——简单任务的失败可能只是随机不稳，困难任务的成功才代表能力突破，但批内统计看不出这种差别。

具体方法
1Success-rate-aware modulation：按 episode 级难度动态调整梯度强度
2Proximity-based soft aggregation：在 step 级用连续语义加权推导 baseline，引入全局上下文而非只看离散批次。两个机制均为轻量设计。

技术创新：

把"基线该参考谁"从离散批次成员资格放松为连续语义邻近度——相似难度/状态的轨迹互相作参照，缓解批内难度不均造成的信用错配；即插即用兼容标准 GRPO pipeline。

实验设置和结果

ALFWorld 与 WebShop 上相对现有 baseline 稳定提升，计算开销可忽略；消融验证两个机制各自独立有效且协同。代码：https://anonymous.4open.science/r/proxmo

2026.05
arXiv ↗
核心问题 / 背景

CLI agent 有两个耦合的瓶颈——(a) 在大 codebase 里从部分观测中找出任务相关证据；(b) 把稀疏的终局奖励分配到塑造了长多轮轨迹的那些动作上。而且CLI 动作本身的结构化属性（命令语法、AST）几乎没被当作学习信号用过。

具体方法
1针对选择性观测，提出 σ-Reveal：推理时按 token 预算为同一个 CLI 选取上下文
2针对信用分配，提出 Action Advantage Assignment (A³)，turn 级优势由三部分构成——episode 级相对反馈、基于 AST 的动作子链残差（action sub-chain residuals）、tree 级轨迹 margin
3A³ 保持标准 agentic RL 的算法复杂度
4构造 ShellOps：覆盖 repo 环境下 CLI 任务的可验证数据集套件。

技术创新：

把动作的语法结构（AST）当作信用分配的先验——同一条命令链里哪些子命令共享贡献，可以由 AST 结构而非学习得到，属于"利用动作空间自身结构"的思路。

实验设置和结果

策略 Qwen3-14B；6 个 benchmark（AB-OS、AB-DB、DataBench、EHRCon、ShellOps、TableBench），ShellOps 为自建可验证 CLI 套件（1624 任务，ShellOps-Pro 另含 150 个更难 OOD 任务）。ShellOps 混合任务 EM 21.9 / 24.6（vanilla / +σ-Reveal），最强 baseline 仅 11.3；ShellOps Pass@3 / Pass@5 达 46.2 / 55.7（最强非 A³ 方法为 22.3 / 28.6）；ShellOps-Pro 长 horizon 设定下达到 Qwen3-235B-A22B 的水平区间。

2026.06
arXiv ↗
核心问题 / 背景

RLVR 改善了推理与工具使用，但长 horizon agent 仍会学到无支撑的证据链、belief 漂移与满足终局检查的捷径动作；现有过程奖励大多是相关性的（奖励"看起来像检索/反思/验证"的步骤），并不估计该步在指定干预下对最终成功的因果贡献。

具体方法
1受约束策略梯度 + 稠密可验证奖励 + 干预有效性门控 + PCCC（policy-conditioned counterfactual contribution）估计量
2四类受控干预：删除、语义替换、证据替换、工具输出扰动，续采样来自冻结参考策略
3selection-adjusted 双重稳健估计增强优势
4增广拉格朗日约束无支撑声明、跳过验证、工具篡改与不安全调用。

技术创新：

把反事实信用从启发式提升为带干预有效性门控与因果识别条件的估计问题——每类干预定义明确对照，双重稳健估计控制选择偏差，约束项把不可取行为模式直接写进优化目标。

实验设置和结果

长上下文 QA、ALFWorld、ScienceWorld 与 web/工具任务。平均成功率从计算对齐非因果 RL 的 71.8%、信息匹配反事实基线的 75.4% 提升至 78.9%；evidence F1 从 78.9 提升至 82.8；hacking 率从 7.2% 降至 3.9%（独立人工审计 4.6% vs 基线 8.1%）。主要指标经 Holm 校正后 p<0.01。

2026.06
arXiv ↗
核心问题 / 背景

self-distilled agentic RL（用同一策略在特权 context 下当 teacher，加 token 级蒸馏损失）目前用单个标量——teacher/student log-prob 差来 gate 蒸馏损失。这个信号存在两个缺陷：回溯性（只评已发生的 rollout，不评反事实）和符号盲（无法表达"teacher 偏好的动作其实会害了这条轨迹"）。

具体方法

三根支柱。

1Counterfactual Token Importance：复用 GRPO 本来就采的 $G-1$ 条兄弟 rollout，按 log-prob gap 做重要性加权，构造"在每一步上调 teacher 偏好动作会带来的组级优势变化"的自归一化估计，得到带符号的逐 token 信用，几乎零额外算力
2非对称控制器：沿 gate 活跃度的指数滑动平均，蒸馏权重升则 reference-KL 权重降，反之亦然
3逐 token 极化 KL 惩罚：按信用符号在 mode-seeking 与 mode-covering 更新之间切换。

技术创新：

两点。其一，指出"兄弟 rollout 本身就是零成本的反事实样本"——GRPO 已经采了 $G$ 条，把其中 $G-1$ 条当作反事实对照，反事实信用的边际成本接近 0。其二，每根支柱都有独立开关，关掉后 loss 与梯度在 IEEE-754 下 byte-identical，从而保证测得的增益来自算法而非实现漂移。另有估计量一致性与方差界的证明。

实验设置和结果

3 个环境（ALFWorld success rate、Search-QA EM、WebShop score）× 4 个模型规模（Qwen3-1.7B、Qwen2.5-3B/7B、Qwen3-8B）× 5 个端到端方法，另加 2 个表格化的既有工作 baseline。CRAFT-Full 在每个（环境 × 模型）格子均为最优：相对 SDAR 在最小模型上提升最大（Qwen3-1.7B：+3.4 ALFWorld / +2.6 Search-QA / +5.5 WebShop），7B/8B 上保持正向（Qwen2.5-7B：87.8 / 50.7 / 91.0 vs SDAR 85.9 / 49.0 / 89.4）。与共享 Pillar 2 的 Adaptive-CRINGE 之差隔离出反事实的独立贡献：稳定为正（1.7B 上 +2.6 ALFWorld / +2.3 WebShop）；消融显示 Pillar 1 承担主要增益，移除反事实机制即跌回 SDAR 基线（84.2 / 43.5 / 84.8）。

2026.06
arXiv ↗
核心问题 / 背景

agentic 多模态模型用代码操作图像并推理返回视图，但代码操作可能有用、冗余或误导——outcome-only 奖励无法区分；现有过程奖励要么无法把最终正确性归因到单次工具调用，要么需要外部 judge 模型。

具体方法

GRPO 变体，双耦合优势通道。

1DAPR（Differential Answer-Probe Reward）：自监督、无 judge 的工具贡献优势——在推理中插入 probe token，分别引出"有/无该工具"时的答案预测，两者结果奖励之差即为该调用的价值（有用为正、误导为负、无影响为零）
2OGAR（Outcome-Gated Advantage Routing）：无参数规则，按调用结果把 outcome 优势只路由到负责的片段，无需成本项即可抑制浪费性调用。两阶段 SFT+RL 训练。

技术创新：

复用现成的答案检查器构造差分探针——差分形式天然抗 probe-hacking（绝对分容易被刷）；OGAR 把奖励路由做成无参数门控，不引入新的奖励模型。

实验设置和结果

感知、推理与通用多模态 benchmark 上一致提升准确率，并学会只在有帮助时才调用工具（具体数值以原文为准）。

2026.07
arXiv ↗
核心问题 / 背景

agent 有大量失败轨迹但用不起来——整条重试交互成本太高，经验检索又会稀释关键经验信号。

具体方法
1通过结构化反思定位"关键错误 turn"（pivotal erroneous turn）
2只从该 pivotal state 局部重试，复用正确前缀，省掉冗余交互
3从信息增益角度论证：pivotal retry 把有用的经验信号集中在错误边界附近，缓解了 state-agnostic 经验利用带来的信号稀释
4据此设计 pivotal-aware 信用分配——奖励正确前缀、隔离错误后缀
5用 implicit reflection return 优化反思质量本身。

技术创新：

这是本调研中唯一显式做"从哪一步开始错"定位的方法，直接对应 §1.3 的失效模式 2。"局部重试 + 前缀/后缀信用隔离"把 credit assignment 和 experience replay 统一到同一机制里；并且由 pivotal turn 天然诱导出对比偏好信号（同一前缀下的对/错后缀），与 Pass@1 也同步提升的结果一致。

实验设置和结果

4 个 agent 任务 + 7 个 search-based QA benchmark。所有任务 Pass@2/3 显著提升，相对 MetaRL 平均约 +11.5%；在 >80% 的任务上 Pass@1 也提升。Minesweeper 上相对 GiGPO 提升 >45%，相比整条重试方法平均减少约 42% 的交互 turn。代码：https://github.com/yuki-younai/PivoARL

2026.07
arXiv ↗
核心问题 / 背景

GRPO/RLOO 依赖多条独立完整轨迹做优势估计；长 horizon 任务上均匀 rollout 把预算浪费在无信息量的死胡同尝试上，有希望的中间状态得不到充分探索。

具体方法
1利用 agentic 轨迹交错动作-观测的结构，把轨迹组组织成树，每个 turn 是分支决策点
2Process-Scorer Guided Adaptive Tree Rollout：用任务适配的过程反馈给部分轨迹打分，从有前景的状态选择性分支
3复用共享前缀、保守停止退化路径以减少浪费采样
4得到的 rollout 组保持与标准策略优化兼容。

技术创新：

把"有效探索"重新表述为"在哪里分支"的问题——rollout 预算的分配本身成为一种信用分配（给有前景的状态更多采样），树结构同时服务探索与对照组构造。

实验设置和结果

FrozenLake 与 SWE-Bench（此前树 rollout 方法少有触及的难 benchmark）。SWE-Bench 最高 +5.0 分、FrozenLake +9.3 分。

2026.07
arXiv ↗
核心问题 / 背景

长 horizon 交互中区分不同动作对结果的贡献困难，导致策略梯度优化方差高。

具体方法

把当前策略分布与 hindsight 分布都投影到意图空间（intent space），用两者之间的 Wasserstein 距离提取低方差学习信号。理论与实证均表明：在意图空间聚合语义相似的状态与动作，可得到方差有界的估计量。

技术创新：

信用分配的降噪不在 token/turn 空间做，而是在语义意图空间做聚合——同一意图下具体实现差异被平均掉，只保留"意图选择"层面的信用。

实验设置和结果

理论给出有界方差保证，实验显示策略性能稳定提升（具体数值以原文为准；论文称代码开源）。

2026.08
arXiv ↗
核心问题 / 背景

分支采样在替代续写间引入局部对比，但现有方法混淆了两个不同问题——固定 rollout 预算的分配与分支结果到 token 级信用的转换。

具体方法
1生成熵在整个响应范围内筛选候选分支位置
2路径级与节点级衰减分配固定预算，防止探索坍缩到少数路径或相邻 token
3共享相同 token 前缀的分支构成 exact-prefix 组，组内奖励变化定义 Contrastive Branch Value（CBV）——基于结果的局部决策敏感度估计，只重缩放优势幅度、不改变符号
4同一轨迹多个分支点时划分为不重叠信用段，避免共享 token 上的重复梯度。

技术创新：

把分支式信用分配解耦为预算分配与信用转换两个专门机制；exact-prefix 组提供严格控制的对照（前缀完全相同），CBV 只调幅度不调方向，性质保守可控。

实验设置和结果

10 个 benchmark（5 个数学推理 + 5 个知识密集型搜索）、两个模型规模，一致超过 SOTA 策略优化与分支类方法，两个领域均取得最高宏平均准确率。

2026.08
arXiv ↗
核心问题 / 背景

服务型 agent 的任务信息随时间展开（用户澄清或修订目标、工具响应提供后续决策所需信息），最终奖励无法指出哪些动作解决了任务；现有方法依赖跨轨迹比较、重采样续写或另行构造的 step 级信号。

具体方法

把每条 rollout 表示为可训练动作上的类型化影响依赖图（user/tool 观测作为证据），把 support-use 与 failed-use 结构转化为路由权重，对同一个轨迹级优势做图上重分配——已完成的 rollout 本身就记录了信息与错误如何在动作间流动。

技术创新：

不新增采样、不训练评估器，而是从单条轨迹内部的依赖结构读出信用路由——"信息与错误如何在动作间流动"是轨迹自带但此前被忽略的信号源。

实验设置和结果

Qwen3-4B/8B；τ²-Bench、UserBench、AgentChangeBench 三个服务 agent benchmark 上超过多轮 RL baseline；BFCL-v4 Multi-Turn 上表明增益不损害多轮 function-calling 能力。

2026.09
arXiv ↗
核心问题 / 背景

GiGPO 这类 step 级优势仍依赖单条轨迹的最终结果——失败轨迹内部的有效动作与错误动作依旧得到同样不利的信用。

具体方法
1从每个 rollout 组内的 anchor-state-group 回报统计估计经验状态势能
2用相邻状态的势能差推导动作优势，实现跨轨迹信用传播——一个状态的价值可由其他轨迹从该状态出发的回报估计，而不只是本轨迹的结局。

技术创新：

把 anchor state 分组从"组内对比"升级为势能函数估计：势能差是经典 reward shaping 形式（policy-invariant），让失败轨迹中的好动作通过其他轨迹从同一状态的成功经验获得正信用。

实验设置和结果

ALFWorld 与 WebShop 上相对近期组相对 RL 方法表现强；分析表明 PGPO 在失败侧产生更丰富的信用信号，训练开销可忽略。

2026.09
arXiv ↗
核心问题 / 背景

图式策略优化把 rollout 组织为状态转移图以改善信用分配，但现有方法每次策略更新都独立建图——丢弃了早期策略发现的转移，优势估计被限制在批次内的小 rollout 组。

具体方法
1每个任务维护持久转移图，不同策略版本发现的有效转移共同决定当前 rollout 的信用
2固定 rollout 预算划分为 Exploration 槽（常规采样）与 Revisit 槽（对先前任务的延迟重试），主动把当前探索与历史经验重连
3每次 revisit 把当前 rollout 组与对应历史 Exploration 组配对，构造跨时间参照
4历史转移与分数只作结构性、detach 的统计参照，不回放进策略损失。

技术创新：

把图式信用分配从"单次更新内"扩展到跨策略更新的时间维度——跨时间参照既稳定小 rollout 组下的相对优势估计，又在同一任务上直接捕捉跨训练阶段的策略改进。

实验设置和结果

ALFWorld 与 WebShop 上一致超过先前的组相对与图式策略优化方法（具体数值以原文为准）。

C. 内在信号：策略自身的 belief / likelihood 变化

共同思路：不引入任何外部评估器，直接用策略模型自己对目标答案的概率变化作为稠密奖励。$r_t \propto \log \pi(y^\star \mid s_{t+1}) - \log \pi(y^\star \mid s_t)$。

该族在 2025–2026 迅速增加的原因：零标注、零额外 rollout、零额外模型，信号是 forward pass 的副产品，工程成本在所有族中最低。

共同前提与共同风险：训练时必须知道 target $y^\star$（因此不适用于开放式任务）；而且 log-prob 上升只说明"模型更相信这个答案了"，不等于"这一步在因果上推进了任务"（QVal 的负面结论主要指向这一族，见 §5）。

2025.09
arXiv ↗
核心问题 / 背景

agentic RL 的奖励稀疏且有时不可验证（如开放式社交互动）。现有把过程监督引入 RL 的尝试各有缺陷：标注有偏、reward hacking、粒度过细导致高方差，或者在状态重合稀少时直接失效（直指 GiGPO 式 anchor grouping 的局限）。

具体方法
1与策略模型交替优化一个 implicit PRM，通过 trajectory-based DPO 目标生成隐式 step 奖励
2理论分析证明该学习目标产出的是一个 step-wise reward function
3用隐式 step 奖励算 step 级优势，与 trajectory/episode 级优势融合后更新策略，形成自我强化的训练闭环
4不需要额外 rollout，也不需要显式 step 标签。

技术创新：

把 "DPO 隐含地学到 token/step 级 Q 函数"（From r to Q*）这一理论结果工程化到 agentic 场景：仅使用轨迹级偏好训练即可获得 step 级奖励。关键设计是交替优化——implicit PRM 与策略交替迭代，避免策略对固定 PRM 产生 reward hacking。此外，它是这一族中唯一明确处理不可验证奖励场景的方法。

实验设置和结果

三个 agent benchmark——WebShop、VisualSokoban，以及奖励不可验证的开放式社交互动 SOTOPIA。跨领域超过前沿 LLM 与强 RL baseline，取得 SOTA，样本效率与训练稳定性更好；分析显示 iStar 探索更高效——step 级与 episode 级奖励同时提升，且达成任务所需步数更少。

ICLR 20262025.10
arXiv ↗
核心问题 / 背景

结果导向奖励在多轮场景下引发三个具体问题——(i) advantage collapse（一组 rollout 拿到相同奖励，无学习信号）；(ii) 缺乏细粒度信用分配（中间 turn 的对错被掩盖）；(iii) 样本效率差（一条 rollout 只产出一个信号）。

具体方法
1把每一轮交互建模为关于 ground truth 的信息渐进获取过程
2turn 级奖励定义为"策略产生正确答案的概率的边际增量"
3与结果级监督组合成稠密奖励信号。不依赖外部 reward model，也不依赖昂贵的 MC 估计——奖励直接来自模型自身的 belief update。

技术创新：

把"信息增益"这个信息论概念落地为一个可以直接计算的量：policy 对 gold answer 的 log-prob 差。这一个定义同时回应了三个问题——稠密（缓解 collapse）、turn 对齐（缓解粒度错配）、每 turn 一个信号（缓解样本效率低）。这是该族的奠基工作，后续 A²TGPO、ΔBelief-RL 都是在其信号定义上做工程化。

实验设置和结果

Qwen2.5-7B-Instruct（消融含 3B），verl 框架 + Google Search API；7 个 QA 数据集（in-domain：NQ、TriviaQA、HotpotQA、2Wiki；OOD：MuSiQue、Bamboogle、PopQA）。平均分 60.2，比最强 baseline（DeepResearcher）高 +6.3，也优于 RLOO / PPO / Reinforce++ / GSPO 等通用 RL 算法；补充分析显示 IGPO agent 的轨迹信息量更高（teacher 模型从其轨迹推断答案的准确率一致更高）。代码：https://github.com/GuoqingWang1/IGPO

2026.02
arXiv ↗
核心问题 / 背景

如何训练 agent 在长 horizon 上处理不确定性（主动提问、澄清、收集信息），而结果导向奖励无法评估"这一次提问是否值得"。

具体方法
1用语言模型自己的内在 belief 来奖励中间进展
2具体地，用 agent 赋予 target solution 的概率变化做信用分配（Δbelief）
3在合成交互数据上训练
4在此基础上算 turn-wise 的 group-relative advantage，不需要单独的 critic 也不需要 PRM。

技术创新：

把 IG 式内在信号明确用于培养信息寻求（information-seeking）能力，而不只是当作稠密化手段——这是对该信号语义的一次准确定位：Δbelief 度量的本质就是"这一轮问出了多少信息"。另一项有价值的结果是测试时交互次数可以超出训练 horizon 继续提升，说明学到的是策略而非长度先验。

实验设置和结果

在经典长 horizon 信息搜寻任务 20 Questions 的合成交互数据上训练 Qwen3-1.7B/4B（所得 agent 记为 CIA）；相对 SFT 基线 success rate 分别 +14.83% / +20.38%，一致优于纯结果奖励的 GRPO 与 StarPO；提升可泛化到 OOD 应用（customer service、personalization）；test-time 交互次数放大到训练 horizon 之外性能继续提升，且 Pass@k 指标下交互效率也在提升。

2026.03
arXiv ↗
核心问题 / 背景

搜索增强 LLM 的 RL 训练不稳定——奖励稀疏，且信用难以在推理与工具调用之间分配。

具体方法

给每个"推理 + 工具调用"段分配稠密 turn 级奖励：奖励值 = 该段之后 teacher 模型下正确答案似然的增量（信息势能）；采用 potential-based reward shaping 形式，理论上保持 policy-invariant。

技术创新：

把 IG 式信号包装进 potential-based shaping 的经典理论框架——势能差塑形不改变最优策略，同时提供细粒度引导；实现简单，只需 teacher 对正确答案的似然。

实验设置和结果

7 个 QA benchmark 上一致超过 GRPO/PPO 基线并显著提升训练稳定性；Qwen2.5-7B-Instruct 下相对 PPO 平均 EM +11.8%、F1 +13.6%。

2026.03
arXiv ↗
核心问题 / 背景

多轮人机协作（自适应辅导、会话推荐、专业咨询）的 RL 优化受两个因素阻碍——可验证中间奖励稀缺，以及用户回复高度随机。

具体方法
1用一个 implicit process reward model 从稀疏结果信号中导出细粒度的 turn 级过程奖励
2论证 turn 级信号比易波动的 token 级奖励更鲁棒
3可叠加归一化机制进一步稳定训练
4该信号与 PPO / GRPO / RLOO 均可组合。

技术创新：

granularity 作为一种降噪手段——在用户回复高随机性的场景里，token 级信号被噪声主导，turn 级聚合本身就是有效的方差削减。轨迹分析确认 ITPO 推断出的 turn 级偏好与人类判断语义一致，为其内在信号与人类判断的相关性提供了正面证据（对照 §5 QVal 的负面结论）。

实验设置和结果

三个多轮协作任务——Math Tutoring、Document Writing、Medical Recommendation，基座 Qwen2.5-7B-Instruct。与 PPO / GRPO / RLOO 组合后收敛均优于既有 baseline；轨迹分析确认推断出的 turn 级偏好与人类判断语义对齐（Spearman 相关显著高于 token 级隐式奖励）。代码：https://github.com/Graph-COM/ITPO

2026.04
arXiv ↗
核心问题 / 背景

轨迹级奖励无法区分同一 rollout 组内精确、模糊或冗余的搜索查询；且当组内所有轨迹都失败时，梯度信号坍缩到接近零。

具体方法
1每个搜索步计算 Information Gain（IG）：检索文档相对随机文档反事实基线把模型对 gold answer 的置信度提高了多少
2通过 GRPO 的 per-token 优势调制把该信号回馈给对应的搜索查询 token
3信号来自策略自身的生成概率，不需要中间标注或共享环境状态。

技术创新：

IG 的计算引入随机文档反事实基线——扣掉"随便检索什么都会带来的置信度变化"，只保留本次查询的净信息贡献；即使组内全部失败也能给出有意义的梯度。

实验设置和结果

7 个单跳/多跳 QA benchmark，Qwen2.5-3B 平均 EM 0.430——超最强轨迹级基线 MR-Search +1.6 分、超 step 级方法 GiGPO +0.9 分，多跳任务上优势尤其明显；训练开销仅 +6.4% 每步 wall-clock，推理延迟不变。

2026.05
arXiv ↗
核心问题 / 背景

承认 Information Gain (IG) 是好的内在信号，但指出把 IG 塞进 RL 训练循环时有三个系统性缺陷——(a) 跨 turn 统一归一化会扭曲不同 turn 的相对地位（不同位置的 turn 面对的上下文难度完全不同）；(b) 累加项数可变，导致 advantage 幅度随轨迹深度漂移；(c) 固定 clipping 区间对 IG 差异极大的 turn 一视同仁。

具体方法

保留 IG 作为内在信号，重新设计它被归一化、累加、消费的方式：

1turn-group normalization——在每个 (prompt, turn-index) 组内归一化 IG，使每个 turn 只与同一交互深度的同侪比较
2variance-rescaled discounted accumulation——把累积的归一化 IG 除以累加项数的平方根，使不同 turn 位置的 advantage 幅度可比
3adaptive turn-level clipping——按该 turn 的归一化 IG 调节其 clipping 范围，信息量大的 turn 放宽更新区间、信息量小的收紧。

技术创新：

这是一篇典型的"信号对了，但消费方式错了"的工作，价值在于把三个隐蔽的统计学 bug 讲清楚：位置异质性（用 turn-index 分组解决）、深度依赖的尺度漂移（用 $1/\sqrt{n}$ 解决）、以及把 credit 信号同时用于调节 trust region（自适应 clipping，把"这个 turn 重不重要"注入到 PPO 的更新半径里）。第三点尤其少见：多数方法只改 advantage 数值，不改更新区间。

实验设置和结果

7 个单跳/多跳开放域 QA benchmark × 3 个 backbone。相对既有 RL 方法平均 +1.75（多跳）/ +1.69（单跳）；自适应 clipping 系数 β=0.3 最优且在 [0.2, 0.4] 内性能波动 <0.15；β=0（固定 clip）时仍优于 GRPO 与 IGPO，说明 turn 分组归一化与方差重缩放本身即有效。

2026.05
arXiv ↗
核心问题 / 背景

把 On-Policy Self-Distillation (OPSD) 迁到多轮 agent 上有两个障碍——多轮不稳定性会复合放大并破坏监督信号；而 skill-conditioned 的特权引导需要非对称处理，因为 teacher 的负向拒绝可能只是 skill 检索/利用不完善造成的假信号。

具体方法
1把 OPSD 当作受 gate 控制的辅助目标，RL 仍是主优化骨干
2把 detach 的 token 级信号映射进一个 sigmoid gate
3对 teacher 认可的 positive-gap token 加强蒸馏，对 teacher 的负向拒绝软性衰减（非对称处理）。

技术创新：

对 teacher 信号做符号非对称处理——承认"teacher 说不好"比"teacher 说好"更不可信（因为可能源于 skill 检索失败而非动作真的差）。这个不对称性是把自蒸馏搬进多轮 agent 的关键工程细节，也是 CRAFT 后来批评"sign-blind"的直接对话对象。

实验设置和结果

Qwen2.5 与 Qwen3 家族，ALFWorld / WebShop / Search-QA。相对 GRPO：ALFWorld +9.4%、Search-QA +7.0%、WebShop-Acc +10.2%；避免了朴素 GRPO+OPSD 的不稳定，并在各模型规模上一致优于 RL–OPSD 混合 baseline。

2026.05
arXiv ↗
核心问题 / 背景

部分可观测环境中，不完整观测使 agent 的 belief 随时间漂移，延迟奖励又掩盖中间决策的因果影响——两者叠加加剧时间信用分配困难。

具体方法
1显式建模结构化 belief 状态来总结交互历史并指导后续策略学习
2belief 一致性监督：把预测 belief 与观测反馈之间的差异转成稠密自监督信号，无需外部 step 标注或 verifier
3belief-aware 分组：在相似 belief 状态下比较轨迹，得到更稳健、更低方差的优势估计。

技术创新：

信用分配的对象从"动作"换成"动作所体现的 belief"——奖励的是 belief 与后续观测的一致性，而非动作本身；belief-aware 分组用 belief 空间而非精确状态匹配来构造对照组（对 GiGPO 状态重合假设的一种放松）。

实验设置和结果

ALFWorld 与 WebShop。任务成功率相对 episode 级 GRPO 最高 +20.4 个百分点，样本效率提升 2.1×。代码：https://github.com/Fateyetian/Rebel

2026.06
arXiv ↗
核心问题 / 背景

长 horizon agentic 任务中轨迹级奖励只验证最终正确性，无法指出哪些中间推理步或工具交互有贡献；多轮搜索 agent 尤其突出——成功轨迹可能含误导动作，失败轨迹可能含有价值的证据收集步。

具体方法
1用已验证答案的后验/先验概率比衡量轨迹质量
2应用贝叶斯规则，把这个难估计的答案侧比率转化为标准学生模型与特权答案条件 teacher 模型之间可处理的似然比
3对该贝叶斯证据分数做自回归分解，得到 turn 级信号——识别每个中间 turn 支持还是削弱了已验证结果
4与标准策略优化完全兼容。

技术创新：

用贝叶斯规则把"给定答案评价轨迹"转化为"两策略似然比"的可计算形式，再经自回归分解把稀疏结果监督转成 Bayes 校准的 turn 级信用重加权，无需训练额外模型。

实验设置和结果

in-domain 与 out-of-domain 设定下均一致提升；短上下文训练的知识可迁移到长上下文推理（具体数值以原文为准）。

2026.06
arXiv ↗
核心问题 / 背景

on-policy 自蒸馏把特权反馈转成稠密 token 级监督，但朴素迁移到多轮设定会出现意外的性能退化——特权反馈（成功轨迹或终局结果）与学生当前的决策上下文不对齐。

具体方法
1用下一个环境观测作为局部对齐的反馈来源
2rollout 完成后反思，把每个观测转成紧凑的 turn 级诊断——原动作的必要性、有效性或失败原因
3以这些诊断作为 hindsight 增强的自蒸馏信号。

技术创新：

反馈来源的选择标准是"与决策上下文局部对齐"：终局结果离每个决策太远，而下一个观测恰好是该动作的直接后果——诊断由此可以具体到"这个动作有没有用、为什么失败"。

实验设置和结果

TauBench 与 WebShop 上提升任务成功率并减少不必要 turn，优于仅用环境反馈的自蒸馏与 GRPO；训练 turn 预算有限（成功 rollout 稀少、GRPO 对比信号弱）时优势尤其明显。

2026.06
arXiv ↗
核心问题 / 背景

为 agentic 场景造 PRM 代价高到不可行——长 horizon、不可逆动作、随机环境反馈使人工标注和 MC 估计都无法规模化。

具体方法
1在一般随机 MDP 下推导出一个隐式 advantage，称为 progress advantage
2结论是：RL 训练后的策略与其 reference policy 之间的 log-probability ratio 精确恢复了最优 advantage 函数
3该信号免标注、领域无关，且是标准 RL 后训练流程的天然副产品。

技术创新：

一个简洁的理论观察——完成 RL 训练后，策略本身已经携带一个 PRM（$\log \pi_{\text{RL}} - \log \pi_{\text{ref}}$）。这省去了专门训练 PRM 的环节。注意它的定位是评估/打分信号（test-time scaling、不确定性量化、失败归因），而非训练时的信用分配机制本身，因此归为近核心。

实验设置和结果

三类应用（test-time scaling、uncertainty quantification、failure attribution）× 5 个 benchmark × 4 个模型家族。全部设定下优于 confidence-based baseline，且在不做任何任务特定训练的前提下超过专门训练的 reward model。

2026.06
arXiv ↗
核心问题 / 背景

on-policy self-distillation 能提供稠密 token 级监督，但现有 skill-conditioned 变体依赖外部 skill memory 或检索来的特权上下文——维护成本高，且检索来的 skill 可能与当前策略在多轮交互中诱导出的状态分布不匹配。

具体方法
1直接从已完成的 on-policy 轨迹中抽取 skill 监督
2把轨迹的 hindsight 表示为层次化 skill：episode 级 skill 刻画全局工作流或失败规避规则，step 级 skill 刻画关键时刻的局部决策知识
3critical-first routing——识别到关键决策时用 step 级 skill，否则回退到 episode 级 skill 作为默认引导
4把选中的 skill 注入交互历史，让 old policy 在原始上下文和 skill 增强上下文下分别对同一条采样响应重新打分
5两者的 log-prob 位移即为 token 级自蒸馏优势，与结果优势组合后优化。

技术创新：

分布匹配的 hindsight 监督——skill 来自自己的轨迹而非外部库，因此天然与当前策略的状态分布对齐。技术上的巧妙处是"同一条响应、两种上下文、比较 log-prob"：这构造了一个不需要额外采样的反事实（"如果我当时知道这个 skill，我会更倾向于哪些 token"）。

实验设置和结果

ALFWorld、WebShop、Search-based QA（7 个 QA 子集）；Qwen2.5-3B/7B-Instruct 与 Qwen3-1.7B。相对 GRPO：Qwen2.5-3B 上 +9.3 ALFWorld（84.3 vs 75.0）、+8.6 Search-QA、+10.9 WebShop；7B 上 +8.8 / +7.2 / +7.1；Qwen3-1.7B 上 +12.8 ALFWorld、+26.5 WebShop。对照实验揭示：推理期依赖 skill prompt 的 Skill-GRPO 撤掉 skill 后崩塌（ALFWorld −14.8 / −11.7 / −25.0），而 OPID 把 skill 内化进参数、推理期无需额外输入。代码：https://github.com/jinyangwu/OPID

2026.07
arXiv ↗
核心问题 / 背景

多轮搜索推理的 RL 通常只靠终局结果奖励，无法区分有用、冗余与有害的中间交互。

具体方法
1反向 leave-one-turn 归因：把某个搜索 turn 及其检索观测替换为固定 [DELETE] 占位符，测量当前策略对 gold answer 平均对数似然的变化——即 Answer-Likelihood Gain
2保留所有下游交互，使早期证据能在完整推理上下文中被评估
3符号一致性门控：只保留方向与原始归因分数一致的归一化过程优势。全程不需要额外奖励模型、teacher、verifier 或 LLM judge。

技术创新：

"删除一轮看答案似然掉不掉"的 leave-one-out 结构给出向后归因——与只看前缀的前向评估不同，它保留了该 turn 之后的全部交互上下文；符号一致性门控显式过滤归一化引入的方向反转噪声。

实验设置和结果

7 个知识密集 QA 数据集（本地检索），平均 EM 0.326，超最强 step 奖励基线 IGPO +0.053；消融显示反向归因与符号门控各自有贡献。

2026.07
arXiv ↗
核心问题 / 背景

长 horizon agent 要经过几十上百次工具调用才给出最终答案，结果奖励稀疏、高方差且有误导性——失败 rollout 里可能有许多拉近目标的有用动作，却被赋予与最终错误相同的负优势。

具体方法
1把 rollout 表示为工具调用边界上的状态转移
2从冻结参考模型取 gold-answer 对数概率，转成 log-ratio 状态价值
3per-action 奖励定义为该价值的时序差分（TD）变化——无需训练额外 critic 或过程标签，且一步 log-ratio TD 在冗余工具调用间自然 telescoping（伸缩抵消）。

技术创新：

把"冻结参考模型的 gold-answer log-prob"同时用作价值函数与奖励源——参考模型不更新，信号无自举偏差；TD 分解的 telescoping 性质使冗余动作自动得到近零信用，无需显式惩罚项。

实验设置和结果

长 horizon 复杂搜索任务，纯 RL（无冷启动 SFT、无 agentic mid-training、不用 live-web 数据）。BrowseComp-Plus（封闭网络）：Qwen3-4B 7.2 → 35.6、Qwen3-30B-A3B 8.4 → 42.6；学到的搜索行为迁移到开放网络 benchmark；学习曲线显示改善更早、收敛更快。

2026.08
arXiv ↗
核心问题 / 背景

vanilla GRPO 只按最终输出分配奖励，中间推理步完全没有监督信号，多步搜索任务上训练不稳且出现冗余搜索行为。

具体方法

为每个搜索步构造双向过程奖励并融合：

1forward solvability gain——该步对答案可信度的逐步提升（新证据是否促进求解）
2hindsight success criticality——事后基于结果评估该步对最终成功的必要性（是否构成关键中间决策）；两信号经调制聚合后与结果奖励融合。

技术创新：

前向信号度量"这一步推进了多少"，后向信号度量"少了这一步行不行"——前者对渐进贡献敏感，后者识别不可替代的关键步，两个方向互补。

实验设置和结果

搜索增强 QA benchmark 上稳定了策略优化、减少冗余搜索行为并取得有竞争力的性能（具体数值以原文为准）。

2026.08
arXiv ↗
核心问题 / 背景

RLVR 的轨迹级优势难以 credit 长 horizon 多轮任务中少数决定结果的关键决策；特权自蒸馏提供了更稠密的监督，但这类局部信号应如何表示序列化的信用仍不清楚。

具体方法

critic-free 的递归 turn 级信用分配：

1把 token 级 teacher-student log-prob gap 聚合为 turn 级证据
2在 log-odds 空间递归更新贝叶斯信念状态
3相邻状态间的边际信念修正识别关键 turn，同时把稀疏结果监督转成 turn 级信用重加权。无需额外 critic 或额外 rollout，兼容标准策略优化。

技术创新：

把 SDAR 式的静态自蒸馏信号升级为递归贝叶斯信念更新——turn 的信用不只取决于自身证据，还取决于它相对历史信念的修正幅度，关键 turn 由此自然浮现。

实验设置和结果

ALFWorld、WebShop、Search-QA，Qwen2.5-3B/7B。超过 GRPO 与自蒸馏 baseline，ALFWorld 上 Qwen2.5-7B 达 89.1% 成功率；消融将增益归于 turn 级聚合与历史依赖的递归信念更新。

2026.09
arXiv ↗
核心问题 / 背景

搜索 agent 的结果奖励无法实现有效信用分配——中间步骤的价值不明确，贡献难以从最终结果中分离。

具体方法
1把推理过程建模为离散证据事实的累积：从原始观测提取结构化事实，组织为显式 fact store
2对语义等价的事实聚类，在 rollout 组上用贝叶斯估计推断每个事实簇的后验效用
3把估计的事实效用转成 step 级稠密奖励引导 RL。

技术创新：

信用分配的对象从"动作/turn"换成"事实"——同一事实在不同轨迹中重复出现，聚类后的跨轨迹统计让单个步骤的贡献可以被分离估计，而不是依赖单轨迹的结局。

实验设置和结果

7 个单跳/多跳 QA benchmark 上一致超过现有基线；消融显示多跳 QA 上相对纯结果奖励训练有明显提升（具体数值以原文为准）。

D. 可验证过程反馈：外部 oracle、执行结果与规则

共同思路：如果中间动作能被客观检查（符号 oracle、约束求解、编译/测试/shell 执行），那就不必猜信用——直接给稠密的 turn 级 ground truth。

该族的定位：信号质量通常最高、方差最低、不引入模型偏差；决策树把它放在第一分支（§2.4）即基于此。

共同边界：可验证性是环境的性质，不是方法能创造的；一旦 verifier 不可靠或只覆盖部分动作，proxy 就可能被 hack。

NeurIPS 20252025.05
arXiv ↗
核心问题 / 背景

多轮交互本可形式化为 turn 级 MDP 且中间奖励常常是可得的，但绝大多数工作仍在用稀疏的轨迹级奖励，稠密 turn 级奖励几乎没被系统研究过。

具体方法
1按粒度把奖励结构分为三类——terminal reward / delayed reward / per-turn reward，每类对应一个不同的 turn 级 MDP 形式化
2分别为三类推导对应的 GRPO 与 PPO 算法
3奖励来源上采用混合策略：可验证的 turn 用自动验证，主观的 turn 用 LLM-judge
4在多轮搜索与游戏 agent 任务上系统对比。

技术创新：

这篇的价值是做对照实验而不是提新方法——把"奖励结构的粒度"作为唯一自变量，在 GRPO 和 PPO 两条线上分别推导并测量，给出了"稠密 per-turn 奖励确实更好"的干净证据，以及一个反直觉结论：在稠密 per-turn 奖励下 PPO 反而比 GRPO 更好（有 critic 才能充分利用稠密信号），为多轮 RL 的奖励粒度选择提供了直接的对照证据。

实验设置和结果

多轮搜索与游戏 agent 任务。GRPO 与 PPO 两者下，稠密 per-turn 奖励结构在训练动态和数值结果上一致优于稀疏 terminal 与 delayed 结构；搜索任务上 PPO + 稠密 per-turn 奖励训练最稳、收敛最快，并在多个 QA 数据集上取得所有 SOTA 方法中最高的答案正确率。

2025.12
arXiv ↗
核心问题 / 背景

两个具体障碍——(1) 稀疏且无指导性的奖励（0-1 可验证信号对中间步几乎无指导，收敛慢）；(2) GRPO 的梯度退化：一组 rollout 内奖励相同则优势为 0，样本效率被浪费。

具体方法

两个互补技术。

1PRS（Progressive Reward Shaping）：课程式的奖励设计，分阶段稠密反馈——先让模型掌握可解析、格式正确的工具调用，再优化事实正确性与答案质量；针对短答 QA 用 length-aware BLEU 公平评分简短答案，针对长答 QA 用 LLM-as-a-Judge 防止 reward hacking。
2VSPO（Value-based Sampling Policy Optimization）：GRPO 变体，把零优势样本替换为按"平衡难度与不确定性"的 task-value 指标挑选出的 prompt，并用 value-smoothing clipping 稳定梯度。

技术创新：

两点工程洞察。其一，奖励的稠密化可以按能力阶段展开（格式 → 正确性 → 质量），本质是把 credit assignment 转化为 curriculum。其二，直面 advantage collapse 的"供给侧"：既然零优势样本无用，就在采样阶段把它们换掉——这是与 IGPO"稠密化需求侧"互补的解法。另外它注意到不同答案长度需要不同的 verifier（BLEU vs judge），避免了单一 verifier 被 hack。

实验设置和结果

短答 QA（NQ、TriviaQA、PopQA、HotpotQA、2Wiki、MuSiQue、Bamboogle，Qwen2.5-3B-Instruct 全参数训练）与长答 QA（Qwen3-14B）。短答：PRS 平均 EM 0.348 vs 0-1 奖励 0.339（Bamboogle 上差距最大：0.333 vs 0.083）；VSPO+PRS 进一步到 0.359（SFT 0.176、PPO 0.333）。长答：VSPO+PRS 参考答案通过率 0.769 vs GRPO+PRS 0.730（论文记为 +5.34%），幻觉通过率同样更优。

2026.02
arXiv ↗
核心问题 / 背景

移动 GUI agent 的 RL 面临奖励保真度与稠密度的两难——结果奖励高保真但稀疏，过程奖励稠密但易偏、易被 hack。

具体方法
1把轨迹锚定到里程碑：里程碑从成功探索中动态蒸馏，构成可验证的自适应奖励系统
2非对称信用分配：对成功轨迹去噪（denoise），对失败轨迹提供脚手架（scaffold）。

技术创新：

里程碑不是人工预置的子目标，而是从成功探索中自动蒸馏并随训练自适应更新；非对称处理承认成功与失败轨迹需要不同的信用结构——成功轨迹要剔除坏动作，失败轨迹要保留好动作。

实验设置和结果

AndroidWorld 上不同基座一致取得 >10% 绝对成功率提升；泛化到多种 RL 算法与异构环境（web 导航、具身任务）。

2026.05
arXiv ↗
核心问题 / 背景

RLVR 主要依赖稀疏的结果级反馈，在长 horizon agentic reasoning 中造成信用分配困难：一条轨迹可能含大量正确中间决策却整体失败，也可能含错误决策却侥幸成功。

具体方法
1界定一类稠密可验证（densely-verifiable）的 agentic reasoning 问题——中间动作可被符号或算法 oracle 客观检查
2提出 VPR 框架把这类 oracle 转成稠密 turn 级监督
3在三种代表性设定中实例化：search-based verification（动态演绎）、constraint-based verification（逻辑推理）、posterior-based verification（概率推断）
4理论分析表明稠密的 verifier-grounded 奖励通过提供更局部化的学习信号改善长 horizon 信用分配，收益大小取决于 verifier 的可靠性。

技术创新：

不是发明一个新奖励，而是把"哪些 agentic 问题天然可稠密验证"这件事形式化，并给出三类 oracle 的构造模板。理论上把"稠密监督的收益"与"verifier 可靠性"挂钩，为该族划出了适用边界。

实验设置和结果

受控环境中优于结果级奖励与 rollout-based process reward baseline；更重要的是能迁移到通用与 agentic reasoning benchmark，说明可验证过程监督培养出的是可迁移的通用推理能力。论文同时明确指出局限：依赖 oracle 质量，且如何扩展到结构性弱、开放式的环境仍然开放。

2026.05
arXiv ↗
核心问题 / 背景

长 horizon 信用分配要把单个成败信号分配到大量动作上；现有方法依赖轨迹级奖励或代理信号，没有充分利用逐步的环境反馈（错误信息、页面变化、观测、参考轨迹）。

具体方法

系统研究 5 种反馈来源 × 2 种插入粒度，提出选择性环境重加权学习框架：

1任务奖励决定更新方向
2环境反馈决定更新的位置与幅度——把信用聚焦到关键动作上。

技术创新：

把"方向"与"位置/幅度"解耦——方向来自结果奖励（忠实于任务目标），位置与幅度来自环境反馈（忠实于交互过程）；结论是有根据的、动作相关的反馈在关键点使用，一致优于无差别使用更长更丰富的上下文。

实验设置和结果

ALFWorld 90.0%、WebShop 80.1% 成功率，超过强 RL 与蒸馏 baseline。

2026.05
arXiv ↗
核心问题 / 背景

agentic search 中轨迹级结果奖励无法量化单个步骤的行为贡献，现有 step 级奖励方法多依赖昂贵的树采样。

具体方法
1把世界知识视为隐式世界图、把搜索任务视为隐式任务图上的搜索——先验假设：有效步骤应在图上向答案节点推进
2GDCR（Graph-Distance Contribution Reward）：训练时构建实体-关系（ER）图，按新检索/新引用实体到答案节点的图距离打分
3SAPO（Step Advantage Policy Optimization）：把 GDCR 转成 step 级优势，与轨迹级结果优势组合。

技术创新：

用图距离把"进展"几何化——不需要树采样就能度量"这一步离答案更近了没有"；ER 图只在训练期需要，推理无额外成本。注意与 2608.19842 的 SAPO（Single-Rollout Autoregressive PO）同名但不同工作。

实验设置和结果

4 个高难度 agentic search benchmark 上验证有效（具体数值以原文为准）。

2026.08
arXiv ↗
核心问题 / 背景

verifier 引导的多轮 RL 中，模型每轮收到 verifier 分数并迭代改进输出——但分数稠密不等于信用稠密：分数度量当前输出的质量，信用应度量当前这一轮对改进轨迹的改变量。

具体方法

把信用分配表述为"分数到信用的转换"，通过参照比较构造 turn 级优势：

1回顾信用——相对历史最好状态的即时进步/退步
2事后延迟信用——识别当时无改进但后期有回报的 turn
3选择性固定历史反事实估计——在同一历史下精修高 surprisal 的 turn。

技术创新：

明确指出"verifier 分数 ≠ 信用"这一被广泛混用的区别，并把转换分解为回顾/事后/反事实三个互补成分——"延迟信用"成分专门捕捉"先铺垫后见效"的 turn。

实验设置和结果

数学推理、代码生成与 AppWorld agent 任务，跨模型规模、任务领域与 verifier 类型均优于或持平最强 baseline；Qwen3-4B 与 DeepSeek-R1-Distill-Llama-8B 上取得最佳或并列最佳的 best-turn Pass@8，并减少成功所需 turn 数。

2026.08
arXiv ↗
核心问题 / 背景

为抑制结果驱动奖励带来的幻觉风险，现有方法引入过程级事实监督，但事实信号的粗粒度聚合与可靠性评估缺失造成"含噪事实信用分配"——可分解为信用定位模糊与信用可靠性模糊两个层面。

具体方法
1信用定位：把事实验证的粒度与策略更新的粒度对齐，把事实监督转成局部化、可靠性加权的 token 级训练信号
2可靠性估计：反事实证据归因——用事实判断对关键证据的依赖程度作为验证可靠性的经验代理，算出可靠性权重
3权重同时调制事实奖励与局部策略优势，压低不可靠信号的影响。

技术创新：

不仅把信用定位到 token，还对每条事实监督信号估计"这条监督本身可不可信"——可靠性作为乘性权重进入优势，是对过程奖励的过程质量控制。

实验设置和结果

跨多个模型与多个事实推理 benchmark，显著提升事实性同时保持通用推理能力（具体数值以原文为准）。

2026.08
arXiv ↗
核心问题 / 背景

细粒度信用分配的标准做法是从 rollout 侧构造辅助信号或额外比较；但这些方法都把判定成败的 verifier 当作标量黑盒——verifier 内部的任务结构被丢弃了。

具体方法

训练时接口：

1暴露 verifier 内部的可执行或证据支持的原子检查项（atoms）
2通过依赖有效的证明边（proof edges）把原子检查项回溯到动作
3只沿这些边重分配组相对优势。保留原始终局奖励，证据不完整或有歧义时弃权（abstain），只改训练时的优势张量。

技术创新：

把信用分配从"rollout 侧推断"转向"verifier 侧追踪"——许多可验证任务的终局 verifier 内部本来就编码了相关检查项，暴露出来就是现成的、有因果依据的信用结构；无需学习型 critic、过程标签、分支 rollout 或推理期 verifier。

实验设置和结果

ALFWorld 与 WebShop 上相对 outcome-only 训练大幅提升，与近期细粒度信用方法并列最强；消融排除了稠密原子奖励、最终提交信用、时间邻近性与稀疏性等替代解释。

2026
OpenReview ↗
核心问题 / 背景

交互式编码 agent 只有终局测试通过与否，中间的编辑/命令得不到评价。

具体方法

同时用结果可验证奖励与过程可验证的执行反馈来 shape advantage。

技术创新：

把编码 agent 的执行反馈（编译、运行、测试）当作 step/action 级 verifier，是"D 族在 coding agent 上的自然实例化"。

实验设置和结果

该工作目前仅公开 OpenReview 页面，摘要与实验数据未公开，具体细节与数值以原文为准。

E. LLM 语义评判与角色化归因

共同思路：让另一个（或同一个）LLM 读轨迹，用语义理解判断每一步的贡献，再转成标量。

共同优势：可用于没有 verifier、没有 gold answer 的开放场景；且信用是可解释的（能说明"为什么这步不好"）。

共同风险：judge 噪声大、方差大。该族的技术进步主要集中在"如何约束 judge 的输出空间"——从自由打分（TARL）到结构化角色标签（TRIAGE）再到 rubric 化的技能原型（SCRIBE），趋势是把开放式评价降级为受约束的验证问题。

AAAI 20252024.12
arXiv ↗
核心问题 / 背景

episodic RL 中只有轨迹级回报，需要把它分解到各时间步；而直接回归标量奖励的做法既不可解释，又受与奖励无关的冗余信息干扰。

具体方法
1引入 Latent Reward 概念——不是单一标量，而是多维的性能评估向量，由 LLM 利用任务语义信息抽取
2从这个多维潜在评估中导出更可解释的目标达成度刻画，再转为逐步奖励
3理论上证明通过减少与奖励无关的冗余，latent reward 改善了奖励建模并提升 RL 性能。

技术创新：

把"奖励"从标量升维为多维语义向量，让 LLM 在语义空间而非数值空间做归因。理论侧把收益归因于"冗余削减"，这是一个与本领域其他工作不同的分析视角。

定位说明

这是经典 episodic RL 场景下用 LLM 辅助信用分配的工作（LLM 作工具，策略不是 LLM agent），与本文其他"LLM 即策略"的方法不同族，收录用于对照 E 族的思想源头。

实验设置和结果

MuJoCo 运动控制（单智能体）与 MPE 多智能体粒子环境。两个变体（LaRe-RD、LaRe-RRDu）在 MuJoCo 上一致超过对应的 return decomposition 基线（RD、RRD-unbiased）及 TD3、IRCR，样本效率与收敛均更优；在 6-agent 竞争性 Predator-Prey 中直接对抗胜过 RD。值得注意的是：部分任务上 LaRe 可比甚至超过用人工设计稠密奖励训练的 TD3-DR / IPPO-DR——作者归因于 latent reward 的多维语义评估捕捉了标量奖励未覆盖的稳定性与效率因素。

2025.09
arXiv ↗
核心问题 / 背景

有效的交互式工具使用需要掌握 Tool Integrated Reasoning——涉及多轮规划与长上下文对话管理；在多模态场景下训练这种动态过程尤其缺少环境与信用分配手段。

具体方法
1构建支持语音-文本交错 rollout 的 RL sandbox 环境
2核心策略 Turn-level Adjudicated RL：用一个 LLM 作为 judge 提供 turn 级评估，以此应对长 horizon 的信用分配
3混入数学推理问题构成 mixed-task 训练课程以增强探索。

技术创新：

把 LLM-as-judge 的 turn 级裁决与多模态（语音-文本交错）rollout 结合，证明该信用分配框架可用于把一个基础多模态 LLM 微调成具备工具使用能力的 agent——这是该族在模态维度上的扩展。

实验设置和结果

文本版 τ-bench 上（基座 Qwen3-8B）task pass rate 相对强 RL baseline 提升 >6%；并验证框架适用于多模态基础模型的 agentic 微调——在交错语音-文本 rollout 上训练基础多模态 LLM 后使其获得工具使用能力。

2026.01
arXiv ↗
核心问题 / 背景

过程级 reward model 方向可行，但现有 LLM-based judge 产出的信号噪声大、不一致，根因是它们缺少细粒度、任务特定的 rubric 去区分高层规划与低层执行。

具体方法
1在一个新的中层抽象上做干预
2把 reward modeling 锚定在一个精心构造的 skill prototype 库上，从而把开放式的 LLM 评价转化为受约束的验证问题
3把每个 subgoal 路由到对应的 prototype，使 reward model 拿到精确的结构化 rubric，显著降低奖励方差。

技术创新：

"中层抽象"这个定位本身是主要贡献——高层规划太抽象无法验证，低层 token 太琐碎无信息，skill prototype 这一层刚好既可枚举又有语义。技术上的关键是 routing + rubric：把"给这一步打分"（开放问题）变成"这一步符合 prototype X 的标准吗"（封闭问题）。另有一个有价值的经验发现：训练动态呈现跨抽象层级的协同演化——中层技能的掌握一致地先于有效高层规划的出现。

实验设置和结果

数学推理（MATH500、AIME25）与工具使用（BFCL V4）benchmark，基座 Qwen3-4B。AIME25 从 43.3% 提升到 63.3%；BFCL Multi 复杂多轮工具交互成功率达 33.3%，显著优于既有 RL baseline。并验证 SCRIBE 与低层工具优化是可叠加的。

附注

SCRIBE 与 §5 QVal 的结论形成直接对照——SCRIBE 的立场是"LLM judge 的问题不在于是否为 judge，而在于缺少 rubric"。

2026.03
arXiv ↗
核心问题 / 背景

value-free 方法（如 GRPO）在长 horizon 上有两个根本瓶颈——step 级 Q 值估计不准，以及中间状态的 value baseline 错位。

具体方法
1首个把经典 hindsight credit assignment 引入 LLM agent 的框架
2用 LLM 自身作为事后（post-hoc）critic，通过 hindsight reasoning 修正 step 级 Q 值
3multi-scale advantage 机制，在关键决策状态上补足不准的 value baseline。

技术创新：

把经典 Hindsight Credit Assignment（"已知结果后，回头重新加权过去的动作"）用 LLM 的语义推理能力来实例化——经典 HCA 需要估计"给定未来结果时动作的后验概率"，这在高维语言动作空间中难以参数化，LLM 的事后推理为其提供了近似途径。另一半贡献是承认"单一 baseline 不够"，在关键状态上用多尺度 advantage 补救。

实验设置和结果

三个 benchmark（含 WebShop、ALFWorld），Qwen2.5-7B-Instruct。相对 GRPO：WebShop success rate +7.7%、ALFWorld +13.8%；分析显示探索效率提升、决策更简洁、在复杂长 horizon 任务上可扩展。

2026.06
arXiv ↗
核心问题 / 背景

搜索 agent 以 outcome-only 奖励为主，搜索过程本身无监督；在结果同质的组上信号退化（组内轨迹对错相同 → 组内优势为零、无梯度）。现有过程监督要么训练昂贵 verifier，要么逐查询生成 rubric——跨查询不一致且用一次就丢。

具体方法
1维护跨查询共享的 rubric 记忆：从对比轨迹归纳查询局部的 rubric 草稿，准入、整合为跨查询通用 rubric，随策略演化退役
2一个小的活跃 rubric 子集通过稀疏成对评判给轨迹打分
3分数加到基础奖励上——即使结果奖励均匀也提供过程级梯度。

技术创新：

把 rubric 从"一次性、逐查询生成"变成可复用、随训练共演的记忆库——通用 rubric 跨查询累积，解决逐查询 rubric 的一致性与浪费问题。

实验设置和结果

4 个多跳 QA benchmark 上一致超过 GRPO 与 DAPO：平均 LLM-judge 准确率最高 +4.2 分，并把最多 42% 本来零梯度的训练组转化为有信息的组。

2026.06
arXiv ↗
核心问题 / 背景

rubric 奖励提升了可解释性，但现有方法两个局限：在轨迹级打分、对单个步骤无指导；打分器闭源且静态，无法随 agent 在训练中演化而适配。

具体方法
1生成逐步 rubric 并对每个动作预测 rubric 条件化的 step 级奖励
2在 on-policy rollout 上持续更新 rubric 模型，使其标准与分数随 agent 行为改进而共演化。

技术创新：

rubric 模型与策略共同演化——rubric 不是固定的外部判据，而是随 agent 能力提升而更新的评估器，避免"策略已超过 rubric 标准"导致的信号失效。

实验设置和结果

HotpotQA、2WikiMultiHopQA、MuSiQue × 两个开源基座，所有设定下 EM 最高（超过 outcome、rubric、过程奖励基线）；分析表明 rubric 是 step 特异的、对设计选择稳健、可用于诊断 agent 行为。代码与数据：https://github.com/zihangtian/ARCO

2026.06
arXiv ↗
核心问题 / 背景

标准 GRPO 用终局 verifier 结果作为所有动作 token 上的统一 advantage。这个信号有用但结构上不完整：它会惩罚失败轨迹中有用的探索，也会强化成功轨迹中冗余或倒退的动作（即 §1.3 失效模式 2 的两个方向）。

具体方法
1在结果信用之外增加一条语义角色轴
2一个结构化 judge 把每个 segment 分类为四类之一——decisive progress / useful exploration / no-progress infrastructure / regression
3用固定的、角色条件化的规则把标签映射为有界的 segment 级过程奖励，使 verifier 结果仍然是优化方向的来源
4理论上证明 Bayes 最优的 role-measurable 修正是"逐 segment advantage 残差在角色变量上的 L2 投影"，并说明 TRIAGE 的固定角色常数近似了这个投影，从而在 judge 可靠时降低 advantage 估计误差，并与更低方差的 policy gradient 相联系。

技术创新：

三点。其一，把 judge 的输出从连续分数降级为 4 类离散标签——极大压缩了 judge 的噪声空间，这是本族的关键工程转向。其二，"regression（倒退）"这个类别是关键：它让方法能在成功轨迹内部惩罚坏动作，这是纯结果奖励做不到的。其三，给出了 L2 投影的理论刻画，说明"用固定常数映射角色"不是拍脑袋而是最优修正的近似。

实验设置和结果

ALFWorld、Search-QA、WebShop，两个 policy model。success rate 优于 GRPO，且优于两个对照——标量 judge 派生的过程奖励、以及结果监督的共享 backbone value baseline。Ablation 表明增益来自角色分型本身而非单纯加稠密奖励：其中"可靠地检测成功轨迹内部的 regression"是主要贡献者，探索信用提供稳定的次级增益。在完成的 ALFWorld / WebShop rollout 上，TRIAGE 还相对 GRPO 额外减少 10.4% / 14.8% 的环境交互 turn。

2026.08
arXiv ↗
核心问题 / 背景

交互式 web 应用生成中，应用质量取决于多个面向用户的功能需求，每个需求常绑定到局部代码区域（事件处理器、状态更新、DOM 片段、CSS 选择器）；标准 GRPO 把结构化结果压成单个序列级奖励并均匀施加到所有 token，信用分配被弱化。

具体方法
1围绕显式功能 rubric 构造训练任务
2分层奖励分离格式、源码、运行时与功能性失败
3把评估器生成的文本归因对齐到负责的代码片段与生成的 token，把 rubric 级反馈转成局部化优化信号。

技术创新：

rubric 归因不止于"哪条标准没过"，而是进一步映射到代码的物理区间——信用沿"rubric 条目 → 代码 span → token"三级传导，是 rubric 信号在代码生成上粒度最细的落地方式。

实验设置和结果

所得模型 Ling-RCCA-Flash 在 MiniAppBench 得 41.25（相对 Ling-3.0-Flash +32.20，略超 Claude Opus 4.5）；ArtifactsBench 得 76.19（相对 SFT 模型 +4.48，超过 GPT-5 3.64 分，刷新官方榜单设置）。

2026.09
arXiv ↗
核心问题 / 背景

RLVR 依赖程序化检查器，但多数长 horizon agent 领域没有；在 outcome-blind 设定（拿不到 ground-truth 成功信号）下，多标准 rubric 虽可提供奖励，但每条轨迹只打一次分——单个标量在几十步上是贫乏的信号。

具体方法
1训练中动态生成 rubric 以跟踪策略能力的演化
2每条完整轨迹对 rubric 打一次分
3把评判重分配到负责各条 rubric 的步骤上，产生 GRPO 下逐步差异化的优势——重分配是闭式的，不引入任何训练型归因模块。

技术创新：

在没有任何 verifier 的条件下，DRACO 的 rubric 重分配超过了用稀疏 ground-truth 奖励训练的 GRPO——说明 rubric 的结构化程度可以补偿奖励真实性的缺失；闭式重分配避免了训练额外的归因模型。

实验设置和结果

AppWorld 上相对基座 +15.9 分、相对稀疏 ground-truth 奖励训练的 GRPO +5.3 分（全程未用 verifier）；OOD 的 Tau-Bench 上相对基座 +5.3 分（无 frontier judge），同时超过 ground-truth 奖励训练与其他 rubric 训练设定。代码：https://github.com/IBM/draco

F. 关键性筛选与不确定性调制：决定"往哪里分"

这一族与前面所有族的区别：它们不回答"这一步值多少分"，而回答"这一步值不值得分"。做法是用 entropy / uncertainty 找出关键决策点，只在那里施加信用（或调制更新幅度）。

共同优势：几乎零额外成本（entropy 可直接从 logits 计算），也不需要 gold answer。

共同风险：entropy 不等于因果重要性——APPO 的 pilot 实验否定了"高 entropy 位置就是影响结果的决策点"这一假设，这是该族内部的一次重要自我修正。

NeurIPS 20252025.12
arXiv ↗
核心问题 / 背景

group-level 策略优化隐含假设"每一步贡献相等"，而分析显示只有一小部分状态上的动作选择真正决定最终结果，该假设严重偏离现实。

具体方法
1用 entropy 作为状态关键性（criticality）的启发式代理
2只对高关键性状态上采取的动作赋予奖励
3把低关键性状态上的动作直接从模型更新中排除，既避免噪声信用，又省掉冗余计算。

技术创新：

"排除"而非"降权"——直接把非关键步从梯度中剔除。这一设计同时带来两方面收益：更准确的信用（不被噪声步稀释）与更低的算力消耗（更少的梯度更新）。这是把"信用分配"重构为"信用稀疏化"问题的代表作。

实验设置和结果

多轮搜索 agent（沿用 ASearcher 设定），在 HotpotQA、2Wiki、MuSiQue、Bamboogle、NQ、TriviaQA、GAIA 等知识密集任务上跨模型规模（含 reasoning 与 non-reasoning 模型）一致提升精度；同时推理 token 消耗不到 GRPO 的一半、训练样本量仅为其 39.6%。

2026.05
arXiv ↗
核心问题 / 背景

稀疏结果奖励对长轨迹内单步信用分配指导有限；而现有稠密监督方案（PRM、辅助自监督信号）增加了监督与调参复杂度，并可能损害跨任务跨域泛化。

具体方法
1提出免监督（supervision-free）的信用分配方法，通过自适应调制 RL 训练中的 entropy 动态来改善探索-利用权衡
2关键分析——agentic RL 中影响环境的是一整个 response 而不是单个 token，因此把 entropy 动态从 token 级提升到 response 级，使不确定性估计与 LLM agent 的有效动作粒度对齐，并降低对 token 级采样噪声的敏感性
3证明自然梯度更新下的 entropy drift 由采样 response 的 advantage 与其相对 surprisal 的交互支配
4据此导出实用的 response 级不确定性代理，用它重缩放 advantage，借助正负样本比例的演化自然完成从探索到利用的过渡。

技术创新：

把 entropy 分析的粒度校正到 response 级——token 级 entropy 混入了大量与环境无关的语言表达随机性，而该度量的应是"这一整个动作有多不确定"。加上 entropy drift 的理论刻画（advantage × relative surprisal），得到一个自动的探索-利用调度器，无需任何外部监督。

实验设置和结果

ALFWorld、WebShop、SWE-bench-Verified，模型规模 1.5B–32B。一致改善多个 group-based RL baseline，峰值提升 +8.8%（GRPO × Qwen2.5-1.5B，ALFWorld）；集成进 SOTA 软件工程 RL 框架 DeepSWE 后 SWE-bench-Verified resolved rate 达 43.7%（+1.4%）。

2026.05
arXiv ↗
核心问题 / 背景

即使有了细粒度信用分配和轨迹过滤等稳定化手段，多轮 RL 的不稳定仍然普遍，常导致训练崩塌。作者主张根因是多轮场景下的无效探索——策略持续产出既不降低不确定性也不推进任务的低信息动作。

具体方法
1token 级：监控不确定性动态，一旦边际不确定性变化低于阈值就触发 thinking intervention
2turn 级：识别探索进展可忽略的交互，动态重采样这些 turn，避免浪费 rollout。

技术创新：

把不稳定问题重新归因到探索效率而非优化本身，并给出双粒度干预：token 级触发"继续思考"、turn 级对无进展的交互进行重采样。特别是 turn 级重采样直接作用在 rollout 预算的分配上，等价于一种"采样层面的信用分配"。

实验设置和结果

WebShop 与 ALFWorld（基于 Qwen3-4B/8B-RFT），Search QA 在 NQ + HotpotQA 上训练并做域内外评测。Qwen3-4B 上：WebShop task score 93.84 / success rate 81.64、ALFWorld success rate 90.23——对照 GiGPO 为 86.03 / 73.83 / 80.47，GRPO 为 80.02 / 68.56 / 77.35；且多次运行方差显著更小（WebShop task score ±0.22，GRPO 为 ±7.94），直接印证其稳定性主张。代码：https://github.com/WillDreamer/T2PO

2026.06
arXiv ↗
核心问题 / 背景

现有方法在粗糙的启发式单元上分配信用——tool-call 边界或固定 workflow——难以识别究竟哪些中间决策影响了下游结果。

具体方法
1从两个角度研究 agentic RL：在哪里分支、分支后怎么分配信用
2pilot 分析发现：有影响力的决策点广泛分布在整个生成序列中，而不是集中在 tool call 处；而且单靠 token entropy 无法可靠反映其对最终结果的影响
3据此提出 Branching Score——结合 token 不确定性与后续续写的 policy-induced likelihood gain来选分支位置，实现更有针对性的探索并过滤掉虚假的高 entropy 位置
4引入 procedure-level advantage scaling，在各分支 rollout 之间更好地分配信用。

技术创新：

核心是一个否定性发现——它同时否掉了两个流行假设：(a) "决策点就在 tool call 边界"（错，决策点弥散在序列各处）；(b) "高 entropy = 关键决策"（错，存在大量虚假高 entropy 位置）。修正方案是把 entropy 与"续写的 likelihood 增益"结合，即"这个位置的不同选择是否真的导致后续轨迹分化"——这比纯 entropy 更接近因果。

实验设置和结果

13 个 benchmark 覆盖深度推理（AIME、MATH500、GSM8K）、深度搜索（GAIA、XBench、WebWalker、HLE）与多跳 QA（HotpotQA、2Wiki、MuSiQue、Bamboogle）等，基座 Qwen2.5-7B 与 Qwen3-8B/14B/32B。相对强 agentic RL baseline 一致提升约 3 个百分点，同时保持工具调用效率与行为可解释性。

2026.08
arXiv ↗
核心问题 / 背景

现有方法给整条轨迹均匀优势、把所有正确的工具调用一视同仁——忽略了不同轨迹与不同推理步在难度与学习价值上的差异，学习信号对"平凡模式"与"有挑战的模式"区分不足。

具体方法

分层难度感知信用分配：在轨迹级与 turn 级两个层面按难度分配信用，让策略聚焦更有信息量的轨迹与更难的推理步；无需额外监督，只用标准 RL rollout 的组级统计即可实现。

技术创新：

把"难度"从课程学习的采样准则变成信用分配的权重——难度同时调制"哪条轨迹"与"哪个 turn"获得更大更新，且完全由组内统计自举。

实验设置和结果

3 个工具使用 benchmark 上一致提升多轮 TIR 性能与工具调用准确率（具体数值以原文为准）。

2026.08
arXiv ↗
核心问题 / 背景

长 horizon 语言任务（多步推理与工具使用 agent）受限于信用分配，但缺少刻画"何处信用分配最难"的理论语言。

具体方法

通过策略方差 $\sigma_\pi^2(s)=\mathrm{Var}_{a\sim\pi}[Q_\pi(s,a)]$ 分析信用分配：在确定性 MDP 中它是回报方差的唯一来源，以离散脉冲形式注入到称为 critical forks 的状态。三个结果：

1策略方差是发现预算——观察到优势为 $c$ 的动作需要 $\Omega(c^2/\sigma_\pi^2(s))$ 次采样
2策略方差被 Gini 离散度上界约束，给出免 rollout 的关键性必要条件（仅从 logits 可算）
3剩余 horizon 决定估计成本——下游成功概率为 $P$ 的分叉处 MC 优势估计信噪比约为 $\sqrt{P}$，样本成本按 $1/P$ 缩放；bootstrap 把生存概率的乘积变成求和可消除该成本（前提是价值表示在乘法上准确，由此论证 log-value 参数化）。

技术创新：

为 CARL 式"关键动作筛选"提供理论基础：critical forks 的形式化、发现预算的下界、以及"logits 即可算的关键性必要条件"——把"哪里值得细分信用"从启发式变成可计算的诊断量。

实验设置和结果

理论工作，附解析推导与受控验证（具体数值以原文为准）。

G. 粒度对齐、稳定化与训练基础设施

这一族不新增信用信号，而是改变已有信号被消费的方式：把优化单元对齐到环境的决策边界、修正 off-policy 的 IS 偏差、归一化优势尺度、或提供能承载任意 agent 结构的训练框架。

这一族的必要性：前面各族给出的信用信号，若被置于粒度错配、梯度尖峰的优化设置中，其收益会被训练不稳定抵消。RAGEN 的 "Echo Trap" 与 SORL 的崩塌分析是这一点的直接证据。

2024.05
arXiv ↗
核心问题 / 背景

GLAM、TWOSOME 这类工作手工把动作空间限制为一个受限子集，且忽略了 action 内部 token 的细粒度信用分配；同时依赖人的先验来裁剪动作空间。

具体方法
1把语言 agent 的优化从 action 级下推到 token 级，为每个 intra-action token 提供更细的监督，并在无限制动作空间下保持可控的优化复杂度
2从"把所有动作展平"的朴素做法出发，理论分析 action 级优化与朴素 token 级优化之间的差异
3推导 Bellman backup with Action Decomposition (BAD)，同时整合 intra-action 与 inter-action token 的信用分配，从理论上消除该差异
4在 PPO 中实现 BAD，得到 POAD。

技术创新：

BAD 这个 Bellman 分解是关键：它证明了"直接在展平的 token 序列上做 RL"与"在 action 级做 RL"并不等价，并给出了修正后的 backup 形式。这是本领域少见的、把 token 级与 action 级信用分配的关系在理论上讲清楚的工作，也因此不需要人为限制动作空间。

实验设置和结果

三类 testbed：Overcooked 与 VirtualHome（受限动作空间，LLaMA2-7B + LoRA）、自建 DataSciCoding（无限制动作空间，CodeLLaMA-7B，3 个 Kaggle + 3 个 OpenML 数据集，ROC AUC 指标）。POAD 收敛性能达到或超过当时的 SOTA TWOSOME 且收敛更快、方差更小；朴素 token 级优化（NTPO）的性能落差验证了理论分析。开放词汇泛化：8 个未见任务上 POAD 在其中 7 个最优（如 Cheese 0.755 vs TWOSOME 0.712，基座仅 0.135）。DataSciCoding 上 POAD 训练中发现的最优代码超过 GPT-4 驱动的 AutoML 框架 CAAFE——7B 模型单卡 A100 训练 2–3 小时即达到。

2024.11
arXiv ↗
核心问题 / 背景

在整条序列奖励下优化会导致次优学习——本质是信用分配问题：该强化/抑制哪些 token 不明。已有 step-wise 方法依赖标点做切分，仍无法准确定位关键 token；token 级方法过细，关注了大量不重要 token 从而引入大量噪声。

具体方法
1提出 Adaptive Segment-wise Reward：用语义而非标点来自适应划定 segment 边界
2在 segment 粒度上分配奖励
3该方法可插入多种训练方法。

技术创新：

明确把"奖励空间与动作空间的粒度不匹配"作为问题本身提出，并指出 segment 边界应由语义决定——标点是语法产物，与决策边界无关。这个"语义切分"思路后来在 reasoning 侧（SPO 的 semantic cutpoints）和 agentic 侧（TRIAGE 的 segment 角色标注）都被继承。

实验设置和结果

基座 Qwen2-7B；对抗性主观任务以 HelpSteer 与 PRM800K 抽取的 1000 样本测试集做人工评判，相对不使用该方法的训练 success rate 提升 10%；客观 benchmark（MMLU、GSM8K、HumanEval 等）上 +1.3%。

2025.04
arXiv ↗
核心问题 / 背景

多轮 agent RL 训练本身缺乏系统理解——长 horizon 决策 + 随机环境反馈带来的独特挑战没有被刻画。

具体方法
1提出 StarPO（State-Thinking-Actions-Reward Policy Optimization），一个轨迹级 agent RL 的通用框架
2提出 RAGEN，模块化的 agent 训练与评测系统
3在四个 stylized 环境上系统研究。三个核心发现：其一，训练中反复出现 Echo Trap 模式——奖励方差断崖式下降 + 梯度尖峰；对策是 StarPO-S（轨迹过滤 + 引入 critic + 梯度稳定化）。其二，rollout 的塑形受益于多样的初始状态、中等的交互粒度、更频繁的采样。其三，没有细粒度、reasoning-aware 的奖励信号时，agent 的推理能力在多轮 RL 中几乎不会涌现，模型会表现出浅层策略或幻觉式思考。

技术创新：

该文的贡献是诊断而非算法：命名并刻画了 Echo Trap 这一失败模式（它是"稀疏奖励 → 优势退化 → 策略坍缩到单一模板"的具体表现），并给出"没有细粒度奖励，agent reasoning 不会自发涌现"这一论断——这为细粒度信用分配的必要性提供了直接依据。

实验设置和结果

四个 stylized 环境覆盖递增复杂度——Bandit（单轮随机）、Sokoban（多轮确定）、Frozen Lake（多轮随机）、WebShop（多轮开放域），基座 Qwen2.5 系列；标准多轮 RL 在这些环境上反复出现 Echo Trap，StarPO-S 可缓解。代码与环境：https://github.com/RAGEN-AI/RAGEN

2025.08
arXiv ↗
核心问题 / 背景

广泛采用的 ReAct 范式把单步推理与即时动作绑定，在需要长期战略规划的复杂任务上效果受限；planner 与 executor 的协同也是设计难点；此外主流依赖 SFT 会让模型记住既有轨迹，损害对新问题情境的泛化。

具体方法
1提出自适应全局计划驱动的 agent 范式 AdaPlan，让高层显式引导与执行协同以支撑长 horizon 决策
2基于该范式提出 PilotRL——渐进式 RL 的三阶段训练：先培养模型遵循全局计划显式引导的能力；再在此基础上优化生成计划本身的质量；最后对规划与执行的协同做联合优化。

技术创新：

把信用分配组织为沿抽象层级递进的课程：plan 级 → step 级 → 联合。每个阶段只需要解决一个层级的归因问题，避免了一次性在所有粒度上同时分配信用。这与 PRS 的"沿能力阶段递进"是两种不同维度的 curriculum 化思路。

实验设置和结果

三个环境——ALFWorld、TextCraft、BabyAI，基座 LLaMA3.1-8B-Instruct。LLaMA3.1-8B-Instruct + PilotRL 超过闭源 GPT-4o 3.60%；在可比参数规模下相对 GPT-4o-mini 提升 55.78%。

Microsoft Research2025.08
arXiv ↗
核心问题 / 背景

现有方法把 RL 训练与 agent 紧耦合，或依赖序列拼接 + masking，导致难以为已有的、用各种框架写成的 agent 做 RL 训练。

具体方法
1实现 agent 执行与训练的完全解耦，使 LangChain、OpenAI Agents SDK、AutoGen 或从零手写的 agent 都能几乎零代码改动接入
2把 agent 执行形式化为 MDP，定义统一数据接口
3提出分层 RL 算法 LightningRL，其中包含一个信用分配模块，把任意 agent 产生的轨迹分解为训练用的 transition——这使 RL 能处理多 agent 场景与动态 workflow 这类复杂交互逻辑
4系统设计上提出 Training-Agent Disaggregation 架构，并把 agent observability 框架引入运行时，提供标准化的 agent 微调接口。

技术创新：

把"信用分配"抽象成一个可插拔的模块，放在 agent 框架与 RL 训练器之间。它承认真实 agent 的结构千差万别（嵌套调用、动态 workflow、多 agent），因此需要的不是某一个信用分配算法，而是一个能把任意执行 trace 归约为 transition 的通用适配层。

实验设置和结果

三个任务分别用不同 agent 框架实现——text-to-SQL（Spider，LangChain）、RAG（MuSiQue，OpenAI Agents SDK）、数学工具调用（Calc-X），统一训练 Llama-3.2-3B-Instruct；三类任务的奖励曲线均稳定持续上升，验证与 agent 实现解耦后仍可端到端优化。

2025.11
arXiv ↗
核心问题 / 背景

在 off-policy 训练流水线下，PPO/GRPO 优化动态不稳、易性能崩塌。实证分析定位到两个根因——(1) token 级策略优化与 turn 结构化交互之间的粒度错配；(2) off-policy importance sampling 与不准确的 advantage 估计导致的高方差、不可靠梯度更新。

具体方法
1引入把策略优化与多轮交互结构对齐的机制
2自适应地抑制不可靠的 off-policy 更新，得到更保守稳健的学习动态
3在该框架下实例化两个稳定化算法 SO-PPO 与 SO-GRPO
4两者都不需要精心设计的 early stopping 或启发式调参。其机制可概括为 turn 级 importance sampling + clipping 触发的归一化。

技术创新：

把"训练崩塌"精确拆成粒度错配与IS 方差两个可分别处理的因子，并用 clipping 比例作为"更新有多不可靠"的在线信号去触发抑制——这使稳定化变成自适应的而非靠调参。此外它明确针对 off-policy 场景，这是真实工业 pipeline（rollout 与训练异步）的常态。

实验设置和结果

多个多轮搜索 benchmark——通用 QA（NQ）、multi-hop QA（HotpotQA）、医学多选 QA（MedQA、PubMedQA），基座 Qwen2.5-7B。两个算法一致避免了标准 PPO/GRPO 出现的训练不稳与性能崩塌，保持更低的 clipping ratio 与更平稳的梯度范数，任务性能更优或相当。

EACL 20262025.12
arXiv ↗
核心问题 / 背景

把 GRPO 直接套到多轮任务上暴露出明显局限，尤其在需要长 horizon 推理的场景。

具体方法
1系统探索更稳定有效的 advantage 估计策略
2先把 PPO 作为替代方案考察，发现它比 GRPO 更鲁棒
3提出 turn-PPO：在 turn 级 MDP 形式化上运行，而非通常使用的 token 级 MDP——importance ratio 与 advantage 都在 turn 单元上定义。

技术创新：

将"优化的 MDP 粒度"作为独立变量清晰地隔离出来，并给出"GRPO 在多轮上不如 PPO"这一实证。turn 级 MDP 的意义在于：环境状态只在 turn 边界改变，所以 turn 才是真正的决策单元，token 级 IS ratio 是对同一个决策的重复计数。

实验设置和结果

WebShop 与 Sokoban，Qwen2.5-3B/7B 与 Qwen3-1.7B。平均奖励：WebShop 上 turn-PPO 0.75 / 0.80 vs GRPO 0.72 / 0.78；Sokoban 上 GRPO 训练直接崩塌（Crash），token-PPO 为 1.93 / 2.90，turn-PPO 达 2.29 / 3.74。有价值的附带观察：Qwen3 默认开启 thinking 时推理链过长且不随训练改善，GRPO 因此崩塌，PPO 缓解、turn-PPO 最稳。

2026.03
arXiv ↗
核心问题 / 背景

工业销售场景要同时优化长期商业目标（转化率）与即时语言约束（流畅度、合规）；常规 RL 把异质目标合成单一奖励，大幅度的 session 级奖励会淹没细微的 turn 级信号，导致训练不稳或 reward hacking。

具体方法

双时间尺度信用分配，核心是 Horizon-Independent Advantage Normalization（HIAN）——turn 级与 session 级奖励的优势先分别归一化再融合，保证即时与长期目标对策略更新有均衡的梯度贡献。

技术创新：

把"多时间尺度奖励混叠"识别为信用分配问题而非奖励工程问题——分别归一化消除量纲与幅度差异，是双时间尺度信号共存的 minimal 解法。

实验设置和结果

高保真用户模拟器上的大量实验：相对 SOTA GRPO 基线转化率相对提升 6.82%，句间重复降低 82.28%，身份识别率降低 27.35%。

2026.06
arXiv ↗
核心问题 / 背景

OPD（on-policy 蒸馏）早期改进快但学生逼近教师后增益饱和、天花板受限；RL 直接优化环境奖励、天花板更高，但稀疏延迟反馈使早期学习效率远低于 OPD。

具体方法
1退火式 OPD-RL 调度：训练早期 OPD 主导以逼近教师行为，RL 逐渐增强以驱动奖励导向的探索
2Turn-level Disagreement-Uncertainty Reweighting（T-DUR）：在长轨迹上软门控蒸馏信号，优先教师-学生分歧大或不确定性高的 turn。

技术创新：

把蒸馏与 RL 的互补性显式排进训练日程（OPD 治早期、RL 治后期）；T-DUR 承认"不是每个 turn 都值得蒸馏"——蒸馏信号也按 turn 的重要性加权。

实验设置和结果

ALFWorld、WebShop、Search-QA，三个学生规模。平均成功率相对 OPD +4.16 分、相对 GRPO +23.62 分，并超过对应教师模型 +2.16 分。

2026.07
arXiv ↗
核心问题 / 背景

长 horizon 稀疏结果奖励下直接用 outcome 训练收敛慢、且学不到未采样的成功轨迹；定制的稠密过程奖励信号丰富但可能与真实结果奖励错位，把训练带偏、拉低性能上限。

具体方法

reward-swap 机制：用稠密过程奖励的丰富信息来促进以结果奖励为目标的训练——保证采样轨迹多样性的同时，确保优化目标与真实结果奖励一致，抬升性能天花板。

技术创新：

过程奖励与结果奖励不是"混合"而是"分工"——稠密奖励负责探索与多样性，结果奖励独占优化方向，规避代理奖励错位带来的偏差。

实验设置和结果

WebShop 与 ALFWorld 两个 agent benchmark；套用到 GRPO、PPO、GiGPO 上均一致提升（具体数值以原文为准）。

2026.08
arXiv ↗
核心问题 / 背景

多轮 RL 训练随 turn 数增加而高度不稳。理论分析识别出三个耦合来源：rollout-训练上下文错配、稀疏终局奖励下 turn 级信用分配弱、长短轨迹在不同策略版本下优化的异步漂移——三者共同根因是扁平化轨迹优化。

具体方法

反向 turn 形式化：把多轮 rollout 组织为稀疏的反向树，按时间反序执行 turn 级策略更新，使每个决策与其下游续写对齐——实现因果一致的 turn 级信用分配与 on-policy 续写以控制异步漂移。

技术创新：

理论保证：turn 级形式化下消除上下文错配与异步漂移、降低信用偏差、收敛到递归最优——"反向更新"使每个 turn 的更新都基于已确定的下游，类似动态规划的归纳结构。

实验设置和结果

多轮 agentic RL benchmark 上相对轨迹级与 turn 级 baseline 分别提升 21.50% 与 10.76%。

2026.08
arXiv ↗
核心问题 / 背景

指令图像编辑采用 planner-renderer 两级 pipeline（VLM 生成编辑计划、扩散模型执行）；只用最终图像奖励训练效率低——差的编辑无法指明该优化 planner 还是 renderer，planner 内部的自由形式推理链也难以定位。

具体方法
1跨模块：多计划-多渲染 rollout 估计计划间与计划内奖励方差，做软模块路由；rollout 平均奖励提供难度估计以驱动自适应课程
2planner 内部：四字段结构化推理输出支持 prefix 门控奖励与 token 级优势重加权，把结果级反馈转为局部化监督。

技术创新：

把信用分配显式分两层：模块间（planner vs renderer 的方差分解路由）与模块内（结构化输出的 prefix 门控）——两级各用匹配的机制，而非统一广播最终奖励。

实验设置和结果

5 个 benchmark 上超过同骨干、同数据、同奖励模型、同 rollout 预算的 Joint RL baseline，推理密集型编辑上增益最大（具体数值以原文为准）。

H. 多智能体信用分配

这一族的核心特征：在时间维（哪一步）之外多一个 agent 维（谁），两者需要分开处理。§2.4 决策树里它是叠加项而非替代项——先选一个时间维方法，再叠加 inter-agent 分解。

内部的主要分歧：inter-agent 信用怎么算——反事实移除（C3、CCPO）、Shapley 分解（SHARP）、LLM 语义归因（LLM-MCA、MAPPA）、还是只做归一化（Dr. MAS）。

一个反直觉结论：C3 指出在 LLM 多 agent 系统里精确反事实是可行的，因此那些"近似"方法在此类系统中并非必要。

AAMAS2025.02
arXiv ↗
核心问题 / 背景

centralized-training decentralized-execution 范式下如何评估每个 agent 的动作对团队成败的贡献。作者的起点观察很直白：人类手工检视 agent 行为，往往能给出比现有方法更好的信用评估。

具体方法
1把信用分配重构为两个模式识别问题——sequence improvement 与 attribution
2用一个中心化的 LLM reward-critic 读取完整交互历史，按各 agent 的个体贡献数值化地分解环境奖励
3用该反馈更新各 agent 的策略网络
4扩展版 LLM-TACA：LLM critic 直接做显式任务分配，向每个 agent 策略传递一个中间目标。

技术创新：

把信用分配问题重述为"模式识别"，从而把 LLM 已被验证的能力（读长序列、归因）直接对上问题。第二项贡献是副产物：生成了逐时间步标注 per-agent 奖励的大规模轨迹数据集并公开，使后续工作可以离线训练协作式去中心化策略——这将 LLM critic 的一次性成本摊销到后续研究中。

实验设置和结果

Level-Based Foraging、Robotic Warehouse，以及作者新建的含碰撞安全约束的 Spaceworld，对照 QMIX、MAVEN、MADDPG 等 MARL baseline。两个方法均大幅超过 SOTA。同时释放上述标注轨迹数据集。

定位说明

这是经典 MARL（机器人/仿真 agent）场景下用 LLM 做 critic，策略本身不是 LLM——与本节其他"LLM 即 agent"的工作不同族，收录用于对照。

2025.04
arXiv ↗
核心问题 / 背景

CTDE 下的 value decomposition 方法依赖预定义的 mixing network、需要额外训练，常导致信用归因不准且可解释性差。

具体方法
1用 LLM 构造 training-free credit assignment function (TFCAF)——该函数对全局状态是非线性的，可解释性更强，且不引入任何额外可学习参数
2用 coder-evaluator 框架保证生成代码的正确性与可执行性（LLM 生成一段 Python 信用分配函数，evaluator 校验）。

技术创新：

把"信用分配函数"本身作为代码来生成，而不是作为神经网络来训练。带来的直接好处是：零额外参数、可读可审计、可跨算法复用。

实验设置和结果

标准 MARL benchmark（SMAC、MPE 的 simple-adversary / simple-spread / simple-tag），嵌入 QMIX、VDN 等 value decomposition 框架后一致优于对应 baseline；混合系数映射由 LLM 先验直接给出，不引入额外可学习参数；并展示了跨多种 value decomposition 算法的泛化性。代码：https://github.com/MaoMaoLYJ/pymarl-qllm

定位说明

同样属于经典 MARL 场景（LLM 作工具而非策略）。

2025.11
arXiv ↗
核心问题 / 背景

现有方法为系统中所有 agent 训练一个统一 LLM，但不同 agent 的底层分布不同，这限制了性能。而给不同 agent 用不同 LLM 又带来优化难题：agent 运行频率不同、rollout 中 sub-agent 调用次数可变、agent 常部署在不同服务器上导致端到端梯度流被打断。

具体方法
1面向垂直结构多 agent 系统（一个 main agent 作 planner + 多个 sub-agent 作多轮工具执行者）扩展 GRPO
2对 main agent 与 sub-agent 分别计算 group-relative advantage，维持分层信用分配
3提出 trajectory-alignment 方案，在 sub-agent 调用次数可变的情况下生成固定大小的 batch
4部署解耦训练流水线——agent 跑在不同服务器上，通过共享 store 交换极少量统计量，无需跨服务器反向传播。

技术创新：

三个真实工程障碍被分别处理：频率异质（分层 advantage）、batch 形状不定（trajectory alignment，工程上最易被忽略的一点）、跨机梯度（只传统计量的解耦训练）。这使"每个 agent 用自己的 LLM"从理论上可能变为工程上可行。

实验设置和结果

真实 benchmark GAIA、XBench-DeepSearch、WebWalkerQA，基座 Qwen3-30B-A3B。一致优于 single-agent GRPO 与 sub-agent 冻结的 multi-agent GRPO，稳定性与样本效率更好。

2026.01
arXiv ↗
核心问题 / 背景

同时微调多个 agent 面临两个关键挑战——跨 agent 的信用分配，以及昂贵的多 agent rollout 的样本效率。

具体方法
1用来自 AI feedback 的 per-action 过程奖励微调多 agent 系统，一举解决两个问题
2把信用分配到单个 agent 动作而非仅在任务完成时，从而在无 ground truth 标签的情况下获得细粒度监督
3由此从每条 rollout 中榨取最大训练信号。

技术创新：

把"信用分配"和"样本效率"识别为同一个问题的两面——每条 rollout 里的动作数远多于 1，per-action 打分等于把单条昂贵 rollout 的信息利用率提高了一个量级，这在 rollout 极贵的多 agent 场景下尤为关键。

实验设置和结果

两个领域：数学推理 + 代码执行（MathChat，AIME 1983–2024 抽样训练、2025 新题与 AMC 评测）与端到端数据科学流水线（DSBench），三 agent 系统，基座含 Qwen3-4B。数学：AIME +5.0–17.5pp、AMC +7.8–17.2pp（未见过的题目，Qwen3-4B 提升最大）。数据分析：success rate +16.7pp，质量指标最高提升 47%。跨不同多 agent 系统与领域均验证有效。

2026.02
arXiv ↗
核心问题 / 背景

多 agent 系统训练困难在于不清楚哪个功能 agent 对决策轨迹的成败负责；现有方法依赖稀疏或全局广播的奖励，无法捕捉个体贡献。

具体方法
1提出 Shapley-based Hierarchical Attribution for Reinforcement Policy
2通过跨轨迹组归一化 agent 特定的 advantage 来稳定训练
3核心是分解式奖励机制，由三部分构成——全局广播的准确性奖励、每个 agent 的 Shapley 边际信用奖励、以及提升执行效率的 tool-process 奖励。

技术创新：

把 Shapley 值这一博弈论上最有原则性的贡献分解落到 agent 粒度（相比 reasoning 侧 SCAR 落到 segment 粒度），并且把它与全局准确性、工具执行效率两路信号组成三分量奖励——承认 Shapley 只解决"谁贡献大"，不解决"整体对不对"和"过程效率"。

实验设置和结果

多个真实深度搜索 benchmark——GAIA、FRAMES、WebWalker，基座 Qwen3-8B 与 Qwen2.5-7B。相对 single-agent 方法平均 match 提升 23.66%，相对 multi-agent 方法提升 14.05%。

2026.02
arXiv ↗
核心问题 / 背景

把 group-based RL 扩到多 agent LLM 系统时训练不稳，但根因不清。

具体方法
1理论上定位根因：GRPO 式优化下，全局归一化的 baseline 可能偏离各 agent 差异很大的奖励分布，最终导致 gradient-norm 不稳定
2据此提出极简对策——agent-wise 归一化：用每个 agent 自己的奖励统计量归一化其 advantage，校准梯度尺度
3理论与实验双重验证其稳定化效果
4另提供端到端 RL 训练框架，支持可扩展编排、per-agent 的 LLM serving 与优化配置、以及 LLM actor 后端的共享资源调度。

技术创新：

一个被理论解释清楚的一行改动。价值在于诊断的精确性：不同角色 agent（planner vs executor）的奖励分布本就不同，用共享 baseline 归一化等于给每个 agent 一个系统性偏移的基准，梯度尺度随之失控。这是多 agent GRPO 中一个基础但容易被忽略的问题。

实验设置和结果

Qwen2.5 与 Qwen3 系列，多 agent 数学推理与多轮搜索 benchmark。相对 vanilla GRPO：数学 +5.6% avg@16 / +4.6% pass@16；搜索 +15.2% avg@16 / +13.1% pass@16；并基本消除梯度尖峰。在异质 agent-model 分配下仍然高度有效，同时提升效率。

2026.03
arXiv ↗
核心问题 / 背景

"把一个 agent 从团队中移除来度量它的贡献"看似自然，但在多 agent LLM 系统里这种评估恰恰扭曲了它声称要度量的东西。更根本的是：learned critic、trajectory 级 baseline、agent-removal 反事实都继承了标准 MARL 的一个前提——精确反事实评估需要特权环境访问，所以只能近似。作者主张：在协作式 LLM 系统里这个前提是错的。

具体方法
1关键观察——交互历史是可观测文本的确定性函数、没有隐藏状态，因此任意决策点都可以被精确恢复，使直接因果度量在无参数近似的情况下成为可能
2C3 在每个决策点固定完整历史，在冻结的 behavior policy 下采样替代动作
3通过无参数的 leave-one-out baseline 计算无偏的 per-decision advantage
4同一结构性质还支持精确验证：提出三个可独立计算的诊断指标——credit fidelity、within-group variance、inter-agent influence
5checkpoint 恢复机制降低训练 token 消耗。

技术创新：

核心洞察是 LLM 多 agent 系统的"状态"就是文本，没有隐藏状态，所以它不是一个需要近似反事实的普通 MARL 问题——精确反事实就在手边，只需要重放历史并重采样。由此推论：MARL 的反事实近似技术栈在此类系统中并非必要。第二个贡献是首个方法无关的多 agent LLM 信用分配审计工具（三个诊断指标），填补了"如何验证信用分配对不对"的空白。

实验设置和结果

6 个 benchmark（数学推理 + 代码生成）、2 个模型家族、2 种多 agent 拓扑。一致优于所有 baseline；受控分解确认增益来自信用质量而非架构；checkpoint 恢复降低训练 token 消耗。作者结论："精确解比所有近似方案更简单、更便宜、也更有效。" 代码：https://github.com/EIT-EAST-Lab/C3

2026.03
arXiv ↗
核心问题 / 背景

多 agent LLM 通过角色分解能解复杂推理任务，但 RL 训练受信用分配限制——共享的终局奖励掩盖个体贡献，并可能鼓励搭便车（free-riding）。

具体方法

提出两个optimizer 无关的信用分配方法。

1CCPO：通过比较"实际的联合结果"与"移除该 agent 后的反事实结果"来估计其边际贡献
2SEPO（Self-Evaluated Credit）：用受约束的自评与同侪互评作为 verifier-anchored 的信用信号，同时保持外部任务结果占主导
3两者都工作在奖励构造层而非策略优化器层，产出角色特定的 reward 或 advantage，可供 GRPO、GSPO、REINFORCE++ 消费
4在一个序贯的 Think–Solve 设定中实例化。

技术创新：

明确把信用分配定位在"奖励构造层"而非"优化器层"——这个抽象让方法与任意 policy optimizer 正交，是良好的模块化实践。此外论文如实报告了增益跨模型跨数据集存在差异，未夸大普适性。

实验设置和结果

数学推理 benchmark，序贯 Think–Solve 双 agent 设定。显式信用分配常常改善双 agent 推理，在 MATH500 与若干 OOD 设定上尤为明显，但增益跨模型跨数据集存在差异。代码：https://github.com/bhai114/ccpo

2026.05
arXiv ↗
核心问题 / 背景

当 LLM agent 从孤立的工具使用者演化为协同团队，RL 需要优化的不只是单个动作，还包括工作如何被派生、委派、沟通、聚合与终止。

具体方法

以 orchestration traces（时序交互图，事件包括 sub-agent 派生、委派、沟通、工具使用、返回、聚合、停止决策）为视角，识别三条技术轴：

1奖励设计跨 8 个族，含针对并行加速、拆分正确性、聚合质量的 orchestration 奖励
2奖励与信用信号附着在从 token 到 team 的 8 类承载单元上
3orchestration 学习分解为 5 个子决策——何时派生、委派给谁、如何沟通、如何聚合、何时停止。

技术创新：

提出"orchestration trace"这一表示，把多 agent 的结构性决策（而非仅内容性动作）纳入信用分配的对象。两个明确指出的空白很有价值：显式的、message 级的反事实信用极为稀缺；截至 2026-05-04 的文献池中没有任何针对"停止决策"的显式 RL 训练方法。

实验设置和结果

非实验论文。产出物：84 条打标签的论文池、32 条排除日志、脚本化语料统计、可重放 orchestration trace 的最小 JSON schema。同时把学术方法与 Kimi Agent Swarm、OpenAI Codex、Anthropic Claude Code 的公开工业证据相连接（作者强调这是公开部署规模与开放学术评测规模之间的差距，不是对工业训练细节的独立验证）。产物：https://github.com/xxzcc/awesome-llm-mas-rl

2026.05
arXiv ↗
核心问题 / 背景

把单 agent RL 直接套到多轮多 agent 系统面临三个困境：稀疏奖励、角色级搭便车、训练开销过大；agent 只会模仿式协作；固定协作协议陷入震荡的局部最优。

具体方法

turn 级双层框架：

1controller-regret 层——控制器通过 regret matching 学习"本轮该发言还是跳过"
2generation-credit 层——用角色特异的 GSPO 奖励优化 proposer 与 reviewer 的发言。只展开控制器的选择，大幅降低训练成本；二元动作设计把有限动作空间的经典博弈论扩展到深度学习，收敛有数学保证。

技术创新：

信用同时分配在动作模式（说/不说）与生成内容（说什么）两个层面——regret matching 解决"谁该行动"的协调信用，角色化 GSPO 解决"说了什么"的内容信用，从机制上避免搭便车。

实验设置和结果

GSM8K 训练集上训练，held-out GSM8K、MATH500、GPQA-Diamond 上评测 in-domain 准确率、跨 benchmark 泛化、推理成本与纠错保持行为（具体数值以原文为准）。代码：https://github.com/Shark-Forest/TRACER

§ 4

4. Reasoning RL 侧可迁移方法速查表

以下 26 篇 reasoning RL 工作以速查表形式列出——许多 agentic 方法直接源自它们，阅读 agentic 论文时经常需要回溯。

4.1 Token 级

方法arXiv机制迁到 agentic 的障碍
VinePPO (ICML'25)2410.01679用 "vine" rollout 在每个 token 位置做无偏 MC value 估计，取代 value network需要从中间状态重采样 → agentic 环境常不可回滚
RED2411.08302用线性回归探测 reward model 内部表示，得到 token 级信用依赖已有 RM；agentic 缺高质量 RM
T-REG2412.02685对比式 self-prompting 找判别性 token，无需外部模型单轮设定，无环境交互
From r to Q*2404.12358证明 DPO 隐式学到 token 级 Q 值理论基础：iStar、ITPO 的直接依据
GRPO-λ2510.00194critic-free 的 λ-return 与 eligibility-trace 式加权可迁移，需处理 turn 边界
DelTA2605.21467判别性 token 系数重加权 RLVR 更新可迁移
GRAIL2606.04889梯度激活显著性把序列级优势重加权为 token 级可迁移，成本低
SC-GRPO2606.18810用已验证的 self-conditioned 轨迹做 per-token KL 信用需要可验证答案
OAR2601.07408用反事实扰动/梯度代理的 outcome-sensitivity 重分配 GRPO 优势反事实扰动在 agentic 中更贵

4.2 Segment 级

方法arXiv机制
SPO2505.23564在语义切点处切分推理链，逐 segment 算 MC 优势
SCAR2505.20417Shapley 值在推理 segment 上分解（SHARP 的 agent 级对应物）
TEMPO2509.18314在推理路径树上做 branch-gated TD 修正，critic-free（AT²PO 的思想来源）
SCRL2605.22074把推理链转成可验证子问题，给对应答案 span 分配归一化优势

4.3 Step 级

方法arXiv机制
PURE (ICML'25)2504.08662Min-form 信用替代求和，防止 step 级 PRM 被 reward hacking
SPRO2507.01551leave-one-out 的 masked step advantage；相对 GRPO 3.4× 效率
CAPO2508.02298LLM 作 Generative PRM，自我批评每一推理步
ACPO2510.08899基于梯度归因 + 难度感知课程定位关键步
HICRA2509.03646把信用集中在 planning token 而非 procedural token
PRL2601.10201从熵正则化 RL 推导最优 step 级过程奖励
InT2601.14209模型自己提出反事实干预来评估某步重要性
FinePO2601.05688sub-step 粒度 PRM，面向视觉推理

4.4 熵与训练动态（与 §3.F 同源）

方法arXiv机制
PAPO / Entropy Polarity2605.11775用带符号的 token 级 entropy 极性自适应重加权优势
STARE2606.19236surprisal 引导的 token 级优势重加权，稳定策略熵
Not only where, but when2605.25381在训练过程上调度信用分配准则（时间维的 curriculum）
Rubric-Grounded RL2605.08061结构化 judge 的部分信用奖励（SCRIBE 的近亲）
In-Context CA via the Core2605.06920合作博弈论（core）用于 in-context 信用分配（非策略 RL）

4.5 基础工作（读任何一篇都建议先有的背景）

类别工作为什么重要
经典 RLPPO；GAE（ICLR'16）；Hindsight Credit Assignment（NeurIPS'19，HCAPO 的源头）；RUDDER（NeurIPS'19，return decomposition 的源头）；DPO（NeurIPS'23）agentic 方法基本都是这五个的组合与改造
LLM RLInstructGPT；DeepSeekMath（GRPO）；DeepSeek-R1GRPO 是本文几乎所有方法的 baseline
PRMMath-Shepherd（ACL'24，MC 自动 step 标注）；OmegaPRM"怎么造 step 标签"的两条原始路线
综述A Survey of Temporal Credit Assignment in Deep RL（2023，56 页，前 LLM 时代）；The Landscape of Agentic RL for LLMs（2025，100 页 / 500+ 篇）；A Survey of RL for Large Reasoning Models（2025）前者提供经典 CA 的完整词汇表
§ 5

5. 评测：基准与"信号质量"本身的评估

5.1 常用 agentic 环境

Benchmark领域典型 turn 数典型 token 量在本文中出现频率
ALFWorld具身/仿真5–205K–30K最高（GiGPO, HCAPO, TRIAGE, AEM, T²PO, SDAR, OPID…）
WebShop工具使用/购物5–155K–20K最高（同上 + iStar, Turn-PPO）
Search QA / HotpotQA多跳 QA / 搜索5–305K–100K很高（IGPO, CriticSearch, SORL, PRS…）
WebArena网页导航10–3030K–100K中
SWE-bench (-Verified)软件工程20–100+100K–500K+上升中（AEM）
AppWorld交互式编码/工具5–50+20K–200K+中
ShellOpsCLI / repo 任务5–50+20K–200K+A³ 自建
ColBench协作式编码10–3030K–100KSWEET-RL 自建
TextCraft工具使用/合成5–205K–30K中
GAIA / XBench-DeepSearch / WebWalkerQAdeep research变化大大多 agent 常用（M-GRPO）
τ-bench工具使用对话变化大中TARL
Sokoban / VisualSokoban / Minesweeper谜题/规划中中Turn-PPO, iStar, PivoARL
SOTOPIA开放式社交（奖励不可验证）中中iStar

推理侧常用：GSM8K、MATH / MATH-500、AIME'24/'25、AMC、CodeContests。

5.2 直接评估"稠密信号好不好"

2026.06
arXiv ↗
核心问题 / 背景

目前评估稠密监督方法的通行做法是把它接进一整套训练流水线看下游性能。这有三个问题：昂贵；把监督信号质量与训练工程的混淆因素纠缠在一起；不同方法族需要不同训练设置从而互相不可比。结果是稠密监督方法很少被放在同一基准上比较。

具体方法
1提出 QVal，一个免训练的测试床，直接评估稠密监督信号本身
2给定一个 state-action 对，QVal 度量该方法的打分是否 Q-aligned——即是否按一个强 reference policy 的 Q 值对动作排序
3这使得在任何训练之前就能比较信号质量，把信号质量与工程选择分离
4实例化为 QVal-v1.0：21 种稠密监督方法、4 个环境、7 个方法族、6 个开源模型骨干，共 1.2K+ 次评估实验。

技术创新：

把"信号质量"从"训练结果"中解耦出来测量，用 Q-alignment 作为统一标尺。这是本领域方法论上的重要补位——此前所有方法的比较都建立在不可比的训练结果之上。

实验设置和结果

基准覆盖 FrozenLake、ALFWorld、TextWorld 等环境 × 多档模型规模（Qwen3.5-9B 至 122B）× 不同观测模态。两个主要发现：(1) 简单的 prompting baseline 一致优于文献中较新的稠密监督方法；(2) 性能强烈按方法族聚类（族内差异远小于族间差异，code-based 方法例外、方差最大）。这两个结论在不同模型规模、环境、观测模态下都成立。

意义：

它直接质疑了 §3.C（内在信号）和 §3.E（LLM judge）中不少方法的实际信号质量——它们的下游增益可能部分来自训练动态的副作用（方差削减、entropy 调节），而非真的更准确地识别了负责的动作。建议新方法在报告任务成功率之外，同时报告信号本身的 Q-alignment。

2026.07
arXiv ↗
核心问题 / 背景

复用 evaluator 产出的 step 奖励时隐含一个假设——打分的方向在更换评估通道（channel）后仍然成立。过程奖励变化的是 agent 状态，evaluator 审计变化的是打分配置，两者各自的一阶差分都无法分离出"状态 × 通道"的交互效应。

具体方法
1把 Agent Step Value（ASV）定义为通道索引的 target-margin 增益
2在完整匹配的面对（matched faces）上识别"状态 × 通道"交互
3用冻结的 PubMed QA 转移做测试床，两批匹配的 replay 波次检验可复现性。

技术创新：

把"评估通道敏感性"从模糊的担忧变成一个可定位、可干预检验的测量问题——在 step 奖励被复用进训练之前，先验证其方向对通道选择是否稳健。

实验设置和结果

直接打分通道得到正的均值 ASV，而 generated-view 通道得到负的均值——同一批冻结转移上符号反转；两批匹配 replay 复现该反转；跨通道符号不一致超过同通道重试不一致 48.0 个百分点。匹配的检索面对把反转定位到 generated-view 坐标；一份"仅来源"生成契约可在带 artifact 的检索上恢复正向均值，并消除解析器检出的实质支撑声明。

意义：

与 QVal 互补——QVal 问"信号与 Q 值对不对齐"，ASV 问"同一信号换个评估通道，方向会不会反"。对 §3.E（LLM judge 族）尤其相关：judge 的 prompt 与视角选择本身就是通道选择。

2026.08
arXiv ↗
核心问题 / 背景

现有评估用人工标注的 step 正确性（correctness）给 step 信号打分；本文改用 step 贡献（contribution）做审计——在每个决策点重采样策略自身的备选动作并前滚，看结果因此改变了什么。两者被证明是分离的。

具体方法
1在 ALFWorld 中用执行重放（executed replay）构造策略条件化的 ground truth
2审计三类 step 级信号——LLM-judge 打分、结果条件化的 logprob 比率、策略自身置信度
3每个信号都与其边际匹配的打乱对照比较增量保真度
4辅以预注册的七臂训练实验检验"信号用于训练是否有效"。

技术创新：

两点方法论贡献。其一，把审计标准从"这步对不对"换成"这步有没有改变结果"——后者才是信用分配该回答的问题。其二，识别出训练比较中的剂量混杂：更稀疏的信用保留的样本更少，优化器步数差出一个数量级——各臂的表观差异与"有效训练剂量"的中介效应统计一致，而非信用内容本身。

实验设置和结果

三类信号无一在其打乱对照之上表现出可靠的增量保真度；修正 replay 目标可靠性后，隐式信号保真度上界近零，judge 保真度在已达可靠性下不确定。ground truth 本身是结构化的：30.5% 已定义决策点呈非零 replay 对比；可测性依赖模型（无策略支持反事实的决策点占比 13.1% vs 26.8%，两个相近规模策略差两倍）。失效模式可识别：隐式信用回响的是策略的流利度（中位秩相关 +0.75，第二模型族复现 +0.70），结果条件化不增加因果信息（偏相关 -0.004）。仅置信度路由器以随机水平找回 pivotal step，但每 turn 省 13.1% judge 成本（每轨迹 14.0%）。七臂预注册训练中，无一臂可靠超过未训练策略。

意义：

全文最硬的一句话——"比较信用规则必须匹配有效样本量，否则测的是剂量，不是信用。" 这直接指向一大批 CA 论文的实验设计缺陷：稀疏化信用 → 训练样本变少 → 优化步数变少，下游差异可能全部来自这个链条。

2026.09
arXiv ↗
核心问题 / 背景

多轮 agentic RL 越来越把信用分配当作定向（targeting）问题——给定终端可验证奖励，把信用定位到"重要的 turn"。本文问一个更前提性的问题：什么时候定向才是对的轴？

具体方法
1识别出预测这一点的结构量——verifier 信息密度 V_d = k/C（agent 的 C 步因果链中，verifier 能暴露其逐 turn 正确性的比例）
2证明终端状态 verifier 深陷低 V_d 区域，此时定向是错的轴
3在 tau²-bench 上做受控共享 rollout 比较，把奖励密度与信用几何分离开。

技术创新：

把"要不要做 turn 级定向"从方法选择问题变成可测量的结构量问题。机制是覆盖（coverage）：终端验证把可观测信号塌缩到单个最终写入 turn（98% 的 rollout 中 k=1），而成功需要 5–8 步前置工具调用链。结论因此是：均匀重分配是零信息覆盖默认值，任何逐 turn 定向方案都必须先打败它——本文贡献了任何定向主张都应通过的"匹配浓度打乱对照"。

实验设置和结果

tau²-bench 上，连续稠密奖励均匀铺开优于稀疏二元结果奖励（稀疏奖励在 4/5 种子上净有害），而把同样的 advantage 集中到 progress turn 或随机 turn 上同样有害——定向是二阶的。合成相边界给出交叉点 V_d* ≈ 0.8，而实测 V_d 在 tau²-bench 仅 ~0.15、BFCL V3 仅 ~0.4；BFCL 上均匀同样获胜（匹配浓度打乱对照在 8/8 种子上为负）。跨模型族复现（ToolACE-2-8B，32 个预注册种子 Δ=-0.048；独立 20 种子复现本身显著）；预注册的匹配预算广度扫描呈单调剂量-响应，赤字只在全链覆盖时消失，reward-to-go 臂达到全覆盖平价。

意义：

与上一篇构成 2026 下半年的"审计转向"双锚点：一篇说 step 信号的内容可能不含因果信息，一篇说 turn 级定向这个问题框架本身在低 V_d 区域是错的。对 §3.B / §3.C 的 turn 级方法构成前提性质疑——它们都应先报告所处 benchmark 的 V_d。

5.3 除了成功率，还应该报告什么

综合各篇论文的做法，一个完整的评测报告至少应覆盖：

  1. 算力对齐的对照：与 trajectory 级奖励在相同 rollout 数、相同显存下比较（GiGPO 明确报告了这一点）。
  2. 稳定性单列：clipping ratio、gradient norm 尖峰、entropy 曲线（SORL、Dr. MAS、T²PO 的做法）。
  3. 效率单列：达成任务所需 turn 数（TRIAGE 报告减少 10.4%/14.8%；PivoARL 报告减少 42%）——信用分配变好的一个直接表现是 agent 变得更简洁。
  4. 信号质量单独测：QVal 式的 Q-alignment；ASV 式的跨通道符号稳健性；Credit w/o GT 式的打乱对照增量保真度；定向类方法还应通过 Coverage Not Targeting 的匹配浓度打乱对照，并报告所处 benchmark 的 V_d。
  5. Reward hacking 检查：长度、entropy 是否被当作捷径（PRS 用 length-aware BLEU 就是为了防这个）。
  6. 消融要能区分"稠密"与"准确"：TRIAGE 的 ablation 专门证明了增益来自角色分型而非单纯加了稠密奖励。
§ 6

6. 横向对比与选型建议

6.1 成本 / 前提 / 风险总表

族额外训练模型额外 rollout需环境快照需 gold answer需人工标注主要风险
A 学习型评估器✅ 1 个❌❌部分需（非对称 critic）❌critic bias、分布漂移
B 分组/反事实❌✅（或复用兄弟 rollout）多数需❌❌环境不可回滚则不适用；状态重合假设
C 内在信号❌❌❌✅❌相关≠因果（见 QVal）；开放式任务不适用
D 可验证反馈❌❌❌❌❌（需构造 verifier）oracle 覆盖不全 → proxy 被 hack
E LLM 评判❌（用现成 LLM）❌❌部分需❌judge 噪声/方差；调用成本
F 关键性筛选❌❌❌❌❌entropy ≠ 因果重要性
G 粒度对齐部分（PPO 需 critic）❌❌❌❌不解决"哪一步错"
H 多智能体视方法视方法C3/CCPO 需❌❌交互效应；组合爆炸

6.2 五条实践建议

  1. 先做 G 族的粒度对齐，再谈信用分配。如果优化还在 token 级 MDP 上运行而环境按 turn 转移，应先把 importance ratio 和 advantage 挪到 turn 级（Turn-PPO / A²TGPO 的做法）。这一步几乎零成本，且往往比换一个更复杂的信用分配算法收益更大。SORL 的分析表明：粒度错配本身就是不稳定的一个独立来源。
  2. 有 verifier 就一定用 verifier。D 族的信号质量比其他所有族高一个量级。哪怕只能验证一部分动作（比如只能验证工具调用格式是否合法），也值得先把这部分做成稠密奖励——PRS 的 curriculum 就是从"格式正确"起步的。
  3. 没有 verifier 时，C 族是额外成本最低的起点，但需验证信号质量。IGPO / ΔBelief-RL 的实现成本几乎为零（复用 logits）。但 QVal 的结果表明，应在正式训练前先做 Q-alignment 检查，确认 belief 变化确实与"这一步有多好"相关，而不是只在削减方差。
  4. 成功轨迹内部的坏动作值得单独处理。TRIAGE 的 ablation 表明：可靠检测"成功轨迹中的 regression"是其增益的主要来源。多数方法（包括所有纯结果奖励方法）对成功轨迹内所有动作施加相同的正优势，等于在强化冗余和回退行为。
  5. 多 agent 场景下先评估是否必须近似。C3 指出：LLM 多 agent 系统没有隐藏状态，精确反事实是可算的。应优先确认是否真的需要 Shapley 近似或 learned critic——重放历史 + 重采样往往已足够，且成本更低。同时 Dr. MAS 的"per-agent 归一化"应作为默认配置。

6.3 一个需要注意的结构性问题

把 §1.3 的四类失效模式和 §2.2 的八族对照起来看：F 族、G 族、以及 C 族的一部分方法，实际上主要在应对失效模式 3（粒度错配）和失效模式 4（训练不稳），而不是失效模式 1、2。它们改善了梯度的统计性质，但并没有更准确地回答"哪一步该负责"。QVal 的负面结论正是这个观察的量化版本，而 2026 下半年的两篇审计把它进一步尖锐化：Credit Without Ground Truth 证明三类主流 step 信号对"贡献"的保真度不优于打乱对照；Coverage Not Targeting 证明在低 V_d 场景下"定向到哪一步"本身是二阶问题。在更多独立复现出现之前，对"更细的信用必然更好"的主张应默认持保留态度。

因此当某方法报告任务指标提升时，值得区分：它来自更准确的归因，还是来自更小的梯度方差？两者都有价值，但它们是不同的贡献，且后者往往可以用更简单的手段（如 turn 级归一化）达到。

§ 7

7. 开放问题

  1. 信用分配的因果性验证仍是空白。C3 提出的三个诊断指标（credit fidelity、within-group variance、inter-agent influence）和 QVal 的 Q-alignment 是目前仅有的尝试，且都很新。该领域缺乏被广泛接受的"信用分配是否正确"的检验协议。
  2. 不可逆动作环境下的反事实。B 族全部依赖某种形式的重采样/回滚。真实场景（发邮件、下单、改生产库）中做不到。PivoARL 的"局部重试"是一个方向，但它仍需要环境能回到 pivotal state。在完全不可逆的环境里如何做反事实信用分配，目前缺乏系统方法。
  3. 部分可观测下的"这一步好不好"是不是良定义的。非对称 critic（SWEET-RL、CriticSearch）用特权信息绕开了这个问题，但训练/推理的信息不对称会带来分布偏移。更根本的问题是：在 agent 看不到全局的情况下，"最优动作"本身可能依赖它无法获知的信息。
  4. 开放式、不可验证任务。iStar 在 SOTOPIA 上的尝试是少数案例。C 族依赖 gold answer，D 族依赖 verifier，E 族依赖 judge 有明确标准——三条路在真正开放式任务（创意写作、长期陪伴、开放式研究）上都不通。
  5. "停止决策"的信用分配完全缺失。Orchestration Traces 明确报告：截至 2026-05，文献池中没有任何针对"何时停止"的显式 RL 训练方法。而对真实 agent，过早停止和无限循环都是主要失败模式。
  6. Message 级反事实信用在多 agent 中极为稀缺（Orchestration Traces 的另一个发现）。目前多 agent 信用分配停在 agent 粒度，但 agent 之间的具体那一条消息是否有用，没人在做。
  7. 粒度自适应。所有方法都预设了一个固定粒度（token / segment / turn）。但同一条轨迹里，有些 turn 值得细到 token，有些 turn 则整体为噪声。F 族的关键性筛选是朝这个方向的第一步，但还是二元的（选/不选）而非连续的粒度调整。
  8. 算力对齐的公平比较缺失。§6.3 的问题无法回答，根源在于极少有论文在固定 rollout 预算、固定显存、固定 wall-clock 下做对照。GiGPO 是明确报告了显存与时间开销相同的少数案例之一。
§ 8

8. 附录：全量索引表

8.1 Agentic RL 信用分配方法（按族与年份）

族方法年份粒度信号机制链接
AArCHer2024 (ICML)Turn + Token分层 TD critic2402.19446
AStepAgent2024StepIRL + 专家对比2411.03817
ASWEET-RL2025Turn特权信息非对称 critic2503.15478
ASPA-RL2025Step加性 progress estimator2505.20732
AAgentPRM2025 (WWW)Step/TurnTD + GAE 造标签2511.08325
ACriticSearch2025 (ACL)Turn冻结回溯式非对称 critic2511.12159
ASWE-TRACE2026StepRubric PRM + 启发式 test-time scaling2604.14820
APRO-CUA2026StepPRM 过程奖励 + 组相对优势（GUI）2605.29119
AVisCritic2026Step孪生 ViT 视觉状态对比 PRM2606.24525
AHyGAE2026Turn+Token混合 advantage + 统一 critic（VLM）2607.23605
ASAPO2026Turn单 rollout 策略-价值共享骨干 + 轨迹级 GAE2608.19842
BGiGPO2025 (NeurIPS)Stepanchor state 分组2505.10978
BAT²PO2026 (ACL)Turnturn 级树搜索2601.04767
BA³2026Turn/ActionAST 动作子链残差2605.08013
BCRAFT2026Token/Step零成本兄弟 rollout 反事实2606.29476
BPivoARL2026Turn/Prefixpivotal 定位 + 局部重试2607.03702
BProxMO2026Step成功率调制 + 邻近软聚合 baseline2602.19225
BCVT-RL2026Step策略条件反事实贡献 + 干预门控2606.05263
BTACO2026Step/Action差分答案探针 + 结果门控路由2606.30251
BPATR2026Turn/Tree过程打分引导树 rollout2607.15610
BHPO2026Stepintent 空间 Wasserstein hindsight2607.16257
BCBPO2026Token/Segment精确前缀组对比分支值2608.24300
BIAPO2026Action/Turn影响依赖图路由重分配2608.24588
BPGPO2026Stepanchor 状态组经验势差2609.02236
BTIGPO2026Step/Graph跨策略更新的持久转移图2609.03383
CiStar2025Steptrajectory-DPO 隐式 PRM2509.19199
CIGPO2025Turn信息增益（belief 边际增量）2510.14967
CΔBelief-RL2026Turn内在 belief 变化2602.12342
CITPO2026Turnimplicit PRM（turn 级降噪）2603.23550
CA²TGPO2026TurnIG + 分组归一化/自适应 clip2605.06200
CSDAR2026Step/Turn门控自蒸馏（符号非对称）2605.15155
CProgress Advantage2026Step/Turn$\log\pi_{RL}-\log\pi_{ref}$2606.26080
COPID2026Token/Skillon-policy hindsight skill 自蒸馏2606.26790
CTIPS2026Turnteacher 似然增益的势基塑形2603.22293
CIG-Search2026Step检索文档信息增益2604.15148
CReBel2026Turnbelief 一致性自监督 + belief 分组2605.20061
CPBSD2026Turn贝叶斯后验-先验比自蒸馏2606.09348
CHERO2026Turn环境观测的事后反思自蒸馏2606.11559
CLOTAPO2026Turnleave-one-turn 归因自生成过程奖励2607.13501
CTRACE2026Turnturn 级奖励分配的信用估计2607.13988
CBiCAA2026Step前向可解性 × 事后关键性双向融合2608.01321
CAgentOPSD2026Turn递归贝叶斯信念自蒸馏2608.05987
CFactUtility2026Step事实簇贝叶斯效用估计2609.00833
DTurn-Level Reward Design2025 (NeurIPS)Turn三类奖励结构对照 + 混合验证2505.11821
DPRS + VSPO2025Step课程式奖励稠密化2512.07478
DVPR2026Turn符号/算法 oracle2605.10325
DGVPO2026Step/Action执行反馈过程验证OpenReview
DADMIRE2026Milestone自适应里程碑锚定 + 非对称信用2602.11524
DSERL2026Turn选择性事后蒸馏环境反馈2605.19447
DGDCR + SAPO2026StepER 图距离贡献奖励2605.29697
DTCPO2026Turnturn 级信用策略优化2608.01667
DFARCA2026Token事实对齐 + 可靠性加权2608.24350
DVICT2026Actionverifier 内部结构沿证明边追溯2608.28128
ELaRe2025 (AAAI)StepLLM 抽取多维 latent reward2412.11120
ETARL2025TurnLLM-judge turn 级裁决2509.14480
ESCRIBE2026Step（中层）skill prototype rubric2601.03555
EHCAPO2026TurnLLM 事后 critic（hindsight）2603.08754
ETRIAGE2026Segment/Turn四类角色标签 → 有界过程奖励2606.32017
EARBOR2026Step跨查询可复用 rubric 缓冲2606.03239
EARCO2026Step逐步 rubric 与策略共演化2606.21262
ERCCA2026Token/Code spanrubric 归因对齐代码片段2608.27906
EDRACO2026Step动态 rubric 闭式重分配2609.04094
FCARL2025 (NeurIPS)Stepentropy 关键性筛选（排除非关键步）2512.04949
FAEM2026Response/Turnresponse 级 entropy 调制2605.00425
FT²PO2026Token/Turn不确定性引导干预 + turn 重采样2605.02178
FAPPO2026Decision/ProcedureBranching Score（entropy + likelihood gain）2606.12384
FHiDiffTIR2026Trajectory+Turn层级难度感知（组统计量）2608.21863
FVoT2026State/Fork策略方差理论（critical forks）2608.22467
GPOAD2024Token/TurnBAD：Bellman 动作分解2405.15821
GAdaptive Segment Reward2024Segment语义自适应切分2411.00809
GRAGEN / StarPO2025Step诊断 Echo Trap + StarPO-S2504.20073
GPilotRL / AdaPlan2025Plan→Step→Token三阶段渐进式 RL2508.00344
GAgent Lightning2025Step可插拔信用分配模块 + 解耦架构2508.03680
GSORL (SO-PPO/SO-GRPO)2025Turnturn 级 IS + clipping 触发归一化2511.20718
GTurn-PPO2026 (EACL)Turnturn 级 MDP 形式化2512.17008
GDuCA2026Turn+Session双时域独立归一化（HIAN）2603.01481
GATOD2026Turn退火 turn 感知在策略蒸馏2606.27814
GRSPO2026Turn奖励交换：稠密辅助采样 + 结果优化2607.04713
GRTPO2026Turn逆时序 turn 级更新（reverse tree）2608.18682
GDARS2026Module+Tokenplanner-renderer 双层信用2608.20161
HLLM-MCA / LLM-TACA2025 (AAMAS)Multi-Agent中心化 LLM reward-critic2502.16863
HQLLM2025Multi-AgentLLM 生成 training-free 信用函数2504.12961
HM-GRPO2025Multi-Agent分层 advantage + trajectory alignment2511.13288
HMAPPA2026Multi-Agentper-action AI feedback 过程奖励2601.23228
HSHARP2026Multi-AgentShapley 三分量分解2602.08335
HDr. MAS2026Multi-Agentagent-wise advantage 归一化2602.08847
HC32026Multi-Agent精确反事实 + LOO baseline + 审计指标2603.06859
HCCPO / SEPO2026Multi-Agent反事实移除 / 受约束自评2603.21563
HOrchestration Traces2026Trace/Agent/Team综述 + trace schema2605.02801
HTRACER2026Turn/Agent控制器 regret matching + 角色化 GSPO2605.28699
评测QVal2026State/Action免训练 Q-alignment 测试床2606.32034
评测ASV2026Step通道索引 target-margin 审计2607.04419
评测Credit w/o GT2026Step执行重放审计（负结果）2608.19760
评测Coverage Not Targeting2026Turnverifier 信息密度 V_d + 打乱对照（负结果）2609.02417

8.2 边界与相关工作（一句话索引）

以下 7 篇与信用分配密切相关、但不以"分配机制本身"为主要贡献，按时间序一句话收录：

工作时间一句话与本文的关系
SLEA-RL2026.03每个决策步按当前观测从自演化经验库检索经验（step 级观测聚类 + 分数准入 + 限频提取）经验库方向；step 级信用分配是其三组件之一而非主贡献
RAGEN-22026.04识别 entropy 不可见的 template collapse，用互信息代理在线诊断 + SNR 感知滤波选 promptRAGEN 的续作；属训练诊断与数据选择，信用仍留在轨迹级
From Reasoning to Agentic（综述）2026.0469 篇统一语料（56 核心 + 13 边界），保留"粒度 × 方法论"分类并新增六诊断框架与 CA-ID Card本文的平行综述；其 47 篇核心清单与本文 §3/§4 的 2024–2025 覆盖经双向核对一致
TRACE-jailbreak2026.05多轮越狱攻防中的 turn 级信用分配——"并非所有轮次都重要"安全场景对 B/C 族思想的独立验证
EPPO2026.07多任务 agentic RL 的 entropy pacing：任务熵感知的动态 clip 替代固定阈值信用分配在"任务"维度的对偶问题（任务间而非步骤间）
RLVP2026.07"Penalize the Path, Reward the Outcome"：可验证的路径惩罚 + 结果奖励；论证组相对优势等价于组内方差，稠密信号只在补充结果所缺方差时有用与 Coverage Not Targeting 的 V_d 互补的稠密化判据；附四条惩罚设计规则（含 inaction trap）
CHIME2026.09记忆写入前先把结果归因到 plan / execution / 两者 / 皆无（attribute-before-memorize），再更新对应记忆库把信用分配用在记忆库写入控制上，而非梯度上