原文链接：图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读

本文直接从一个RLHF开源项目源码入手（deepspeed-chat），根据源码的实现细节，给出尽可能丰富的训练流程图，并对所有的公式给出直观的解释。希望可以帮助大家更具象地感受RLHF的训练流程。关于RLHF，各家的开源代码间都会有一些差异，同时也不止PPO一种RLHF方式。

一、强化学习概述

1.1 强化学习整体流程

强化学习的两个实体：智能体（Agent）与环境（Environment）

强化学习中两个实体的交互：

• 状态空间S：S即为State，指环境中所有可能状态的集合
• 动作空间A：A即为Action，指智能体所有可能动作的集合
• 奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。

以上图为例，智能体与环境的交互过程如下：

• 在 $t$ 时刻，环境的状态为 $S_{t}$ ，达到这一状态所获得的奖励为 $R_{t}$
• 智能体观测到 $S_{t}$ 与 $R_{t}$ ，采取相应动作 $A_{t}$
• 智能体采取 $A_{t}$ 后，环境状态变为 $S_{t+1}$ ，得到相应的奖励 $R_{t+1}$

智能体在这个过程中学习，它的最终目标是：找到一个策略，这个策略根据当前观测到的环境状态和奖励反馈，来选择最佳的动作。

1.2 价值函数

在1.1中，谈到了奖励值 $R_{t}$ ，它表示环境进入状态 $S_{t}$ 下的即时奖励。但如果只考虑即时奖励，目光似乎太短浅了：当下的状态和动作会影响到未来的状态和动作，进而影响到未来的整体收益。所以，一种更好的设计方式是：t时刻状态s的总收益 = 身处状态s能带来的即时收益 + 从状态s出发后能带来的未来收益。写成表达式就是

$$ V_{t} = R_{t} + \gamma V_{t+1}    $$

其中：

• $V_{t}$ ：$t$ 时刻的总收益，注意这个收益蕴涵了“即时”和“未来”的概念