PPO、GAE 与 RLHF：约束策略更新

希望策略更常选到效果好的动作，先要知道它比平时好多少。策略 pi(a|s) 表示在状态 s 选择动作 a 的概率，价值 V(s) 估计从这个状态开始的折扣回报；优势 A(s,a) 再比较该动作与通常水平。优势为正，希望提高它的概率；为负，希望降低。PPO 利用旧策略收集的交互记录，通过一个局部代理目标更新策略，并控制对这批记录的重复使用，而不是直接规定每个好动作加多少概率。

整理训练数据时，一条长度为 T 的交互记录，其奖励、价值和优势都可以排成 [T] 向量；同时运行 B 个环境，常用形状 [T,B]。r_t 是执行动作后得到的奖励，gamma 控制每往后一步怎样折扣，lambda 控制优势估计怎样结合短期和长期信息。这两个系数按步骤起作用，不以秒计；如果一步动作耗时变了，同样 gamma 对真实时间的折扣含义也会变。

RLHF 中几个“模型”各有不同工作。当前策略正在被更新；旧策略是采集这一批动作时用的策略，我们要保存它当时给这些动作的概率，同一批反复训练期间不能改写。参考策略则提供一个比较基准，用于惩罚当前策略偏离太远，因此不能因为它也比较旧，就和采样用的旧策略混在一起。

价值模型估计从当前状态继续下去能获得多少累计回报；奖励模型负责评分，例如判断某个回答更符合偏好，它与预测后续累计结果的价值模型也不是一回事。

可以把边界问题拆成两问：这一步还能借用末状态对未来回报的估计吗？还能沿数组接着读下一条轨迹吗？公式分别用 bootstrap 和 continue 控制：delta_t=r_t+gamma×bootstrap_t×V(next_t)-V(s_t)，A_t=delta_t+gamma×lambda×continue_t×A_(t+1)，后一个从后往前算。

任务真正结束时，两项开关都为零。如果只是计时上限到了，任务本身未自然结束，可以保留末状态的价值估计，这叫自举；但记录后面若已是重置后的新一局，就不能继续累加。只用一个 done 标记前，必须核对环境包装器怎样处理，否则学到的目标可能被改掉。

PPO 先看当前策略给已采动作的概率，比旧策略大了还是小了：ratio=exp(logpi_new-logpi_old)。它优化 min(ratio×A,clip(ratio,1-eps,1+eps)×A) 的平均值，先乘优势，再比较两项。

优势为正时，超过上界继续提高概率不再增加这项收益；优势为负时，低于下界继续降低概率也不再获益。但如果改动方向让目标变差，仍应有梯度纠正，所以不能见到 ratio 超界就把梯度全清零。

这里的裁剪改变的是训练所用的代理目标，并不是把模型所有动作的概率比强行锁在区间内，也不等于严格限制整体 KL。因为多个动作共享参数，更新还会影响未采到的动作。实际训练仍需观察近似 KL、熵、裁剪比例和价值损失，并限制更新轮数。本篇 CPU 实验只对固定合成批次中的两个动作 logits 做更新，检查优势正负与梯度方向，没有包含真实语言生成、奖励模型训练或完整在线采样。

固定版本RolloutBuffer保存rewards、values、episode_starts和log_probs，计算时从最后时间步倒序遍历。末步使用外部last_values与dones，内部步骤参考下一条episode_starts。这样做是因为buffer中存储的是每个时间步开头的标记，索引错一位会把前一局的奖励传播到后一局。

源码先算 delta，再更新 last_gae_lam，最后把 advantages+values 存成 returns。这里的 returns 是用来训练价值函数的 lambda 目标，不一定是把完整一局的实际奖励直接相加。lambda 为零时只参考一步 TD；lambda 为一、轨迹完整且终点处理正确时，优势才可写成相应折扣回报减去价值的形式。读变量名时，要一起看它具体怎样算出来。

时间到了但任务尚未自然结束时，不能只看 buffer 里一个结束标记，还要沿 on_policy_algorithm.collect_rollouts 检查处理过程。某些终止观测会先用于给奖励补上折扣价值，再由 buffer 的结束标记阻断跨局传播。本篇教学函数把 bootstrap 和 continuation 分开，是为了看清这两件事；真实 buffer 函数并不是就有两个同名输入参数。

PPO.train随后重新评价同一批动作，以保存的old_log_prob形成概率比，并使用两个乘优势目标的逐项最小值。优势标准化和价值裁剪是额外配置，不应偷偷加入推导再宣称完全相同的损失。看源码要同时看采样、buffer后处理与训练，孤立复制三行目标无法保证训练语义一致。

输入每步奖励、当前与下一状态价值、真终止和轨迹继续标记，返回优势数组；有限数值和gamma、lambda范围需验证。

算当前这一步的优势，需要把后面若干步的 TD 残差按衰减权重加起来。若每换一个起点就重新从头加，这些后半段会重复计算，总工作量随轨迹长度的平方增长。可以改为从最后一步向前走，把后面已经算好的结果存进 future；当前步只需把它乘上衰减系数，再加自己的 delta。这样复用同一段后续计算，就能在线性时间得到相同的有限序列结果。

倒序扫描前future代表下一时间步的优势；遇到不继续的边界先屏蔽它，再加入当前delta。即使上一局与下一局在数组中相邻，也不会通过这个变量串起来。真终止却声明继续属于自相矛盾输入，程序拒绝而非猜测读者想表达什么。

空数组返回空结果，说明没有待处理轨迹；NaN、超范围折扣或运算溢出则明确失败。该算法检验的是给定价值预测和边界标记下的算术正确性，不判断价值网络是否准确。输出被后续训练使用时通常应视为固定目标，避免无意让梯度沿采样缓冲区继续传播。

每个时间步仅访问一次，future复用已求后缀。

开始训练前先让奖励、优势和价值目标的单位一致。若把终局奖励缩放一百倍，却保持价值损失权重和KL系数不变，整个优化平衡也变了。记录原始奖励、惩罚后奖励与标准化优势，能把奖励尺度问题与策略学习问题区分开。

用于语言模型时，动作通常就是模型生成的 token，因此要明确长短回答怎样求和或取平均。策略目标只应计算回答 token，并说清结束标记 EOS、填充 padding 和截断怎样处理；提示里的 token 不是模型主动选出的动作。保存的旧概率还要与当前计算使用相同的分词、掩码和采样策略，否则新旧概率比就不再是在比较同一件事。

生产或研究训练都应保存策略、价值网络、优化器、调度器、随机数及采样位置等状态。恢复后先对固定小批次重算损失作一致性检查。本文实验不测GPU显存、分布式同步或长序列吞吐，真正扩大规模前需要单独验证这些环节，不能由几次CPU梯度更新推导训练稳定。