从PPO到GRPO：大模型强化学习对齐的范式跃迁与工程实践

摘要

大模型的对齐训练（alignment training）正经历从"模仿人类偏好"到"最大化可验证正确性"的深层范式跃迁。本文以算法演进为主轴，系统拆解这一进程中的四次关键框架变迁——从需要独立奖励模型的PPO+RLHF三阶段流水线，到将强化学习转化为对比分类问题的DPO，再到彻底抛弃评判模型的GRPO组相对策略优化，最终抵达可验证奖励驱动的RLVR与DAPO。每个章节均深入对应算法的数学本质、工程权衡与已知局限，并提供基于真实开源框架（OpenRLHF、veRL、TRL）的训练选型指南。文章在最后讨论奖励设计这一贯穿始终的未解难题，并展望2026年下半年统一对齐框架与自动奖励学习的可能路径。全文面向具备深度学习基础的AI工程师，目标是通过清晰的对比框架，帮助读者理解每个技术拐点背后的设计哲学，并能在实际项目中做出工程选型判断。本文不涉及任何代币推荐、投资建议或套利模型讨论。

1. 背景：对齐训练如何成为AI能力的主战场

2024年到2026年，大模型的能力曲线出现了一个显著的变化：预训练阶段的边际回报正在递减，而后训练阶段（post-training）——特别是强化学习对齐训练——成为模型能力差异化的核心来源。Gartner 2026年的技术成熟度报告指出，超过60%的前沿模型能力增量来自SFT之后的强化学习阶段。

这个转变的逻辑并不复杂。预训练的核心任务是通过自监督学习从海量文本中提取统计规律，它教会模型"世界长什么样"，但并不告知模型"应该怎样回答"——后一个任务正是对齐训练的范畴。从GPT-4到Claude 4系列再到DeepSeek-R1，每代模型的标杆能力跃迁，几乎都伴随着对齐算法的迭代。

对齐训练要解决的是三个子问题：偏好建模（如何将人类的"好"与"坏"量化）、策略优化（如何让模型输出朝"好"的方向移动）、奖励设计（如何定义什么值得奖励）。这三个子问题相互耦合，算法演进的本质就是不断重新回答它们，并以更低的成本、更高的稳定性求解。

本文将沿着PPO → DPO → GRPO → RLVR/DAPO这条主线展开。这不是一条简单的"越来越强"的线性叙事——每一次跃迁都伴随着取舍，都牺牲了某些通用性以换取在特定场景下的更优表现。理解这些取舍，比记住算法公式更重要。

2. SFT与模仿学习的边界：对齐问题从何开始

2.1 SFT的能力与局限

监督微调（Supervised Fine-Tuning, SFT）是所有人对齐训练的起点。它的逻辑极其朴素：收集一批高质量的人类回答数据，让模型在这些数据上做最大似然估计（MLE）。模型学会的不是"如何做对"，而是"人类通常如何说话"。

SFT的优势在于简单、稳定、可扩展。只需要一个经过质量筛选的指令数据集和标准的语言建模训练流程，就能让一个基础模型学会遵循指令、控制输出格式、拒绝不当请求。InstructGPT论文清楚地展示了这一效果：仅通过SFT，模型在有用性和安全性上就获得了显著提升。

但SFT有一个根本性的天花板：分布内泛化限制。SFT只能教会模型复现训练数据中的行为模式，却无法让模型在面对未见过的、模糊的或多步推理的复杂问题时做出"判断"——它只能"复述"见过的类似回答模式。具体来说，SFT在三个关键维度上存在系统性不足：

1. 安全性：SFT的数据覆盖有限，无法穷尽所有有害输入形式。一个经过SFT的模型在遇到新的对抗性提示时，没有内建的机制去拒绝或规避。
2. 有用性：模型可能学会"是"这个格式，但无法判断在什么场景下应该拒绝回答（如医疗建议、法律意见）。
3. 推理深度：SFT的数据集中的链式思考（chain-of-thought）回答来自人类标注者，这些回答的质量上限受限于标注者的推理能力和时间投入。模型无法通过SFT超越这个上限。

graph TD
    A["预训练模型"] --> B["SFT数据集<br/>(指令+回答对)"]
    B --> C["MLE损失函数<br/>L = -Σlog P(y|x)"]
    C --> D["SFT模型"]
    D --> E["分布内泛化 ✅<br/>格式遵循、风格模仿"]
    D --> F["分布外泛化 ❌<br/>安全边界模糊、推理深度不足"]

    style A fill:#1a1a2e,stroke:#e94560,stroke-width:2px,color:#eee
    style B fill:#16213e,stroke:#0f3460,stroke-width:2px,color:#eee
    style C fill:#16213e,stroke:#0f3460,stroke-width:2px,color:#eee
    style D fill:#1a1a2e,stroke:#e94560,stroke-width:2px,color:#eee
    style E fill:#0b3d0b,stroke:#4caf50,stroke-width:2px,color:#ccc
    style F fill:#3d0b0b,stroke:#f44336,stroke-width:2px,color:#ccc

SFT的输出质量上限直接受限于人类标注者的能力边界。以数学推理为例，一个人类标注者解决一道AIME级别竞赛题的平均错误率约为15-20%——这意味着SFT数据集天然携带了"正确答案被错误标注"的先验噪声。模型当然可以"学会"在这些噪音上过拟合，但这显然不是我们想要的对齐。

2.2 从模仿到判断：RL的必要性

SFT的局限引出了对齐训练的核心问题：如何让模型学会判断，而不仅限于复述？

强化学习（RL）提供了一个自然的框架。在RL范式中，模型（策略）通过与环境（奖励信号）的交互来优化行为——它被鼓励尝试新的输出模式，并从中选取那些带来更高奖励的策略。这与SFT有本质区别：SFT是"看人类怎么做，我就怎么做"，RL是"做了之后看后果，效果好就多做"。

这种"试错-奖励"的循环，使得RL在对齐任务中具有天然优势。模型可以通过在线探索发现超越标注者水平的回答模式——这正是InstructGPT、Claude、ChatGPT所使用的方法论基础。但在RL框架真正落地之前，还缺少一个关键组件：如何为语言模型的输出定义可靠的奖励信号？

人类对语言质量的判断是多维度的——有帮助性、安全性、真实性、创造性和简洁性等。直接将人类判断作为在线RL的奖励源，成本过高（每次采样都需要人类评估），且不一致（同一个回答，不同标注者可能给不同分数）。解决这个问题的方法，就是引入一个奖励模型（reward model）来代理人类的偏好判断。

至此，经典RLHF的三阶段流水线浮出水面。

3. RLHF：第一次范式革命——PPO、奖励模型与人类偏好卡

3.1 经典三阶段流水线

2022年发布的InstructGPT论文定义了大模型RLHF的经典范式，后续的ChatGPT（GPT-3.5）、Claude 1代以及众多开源项目均沿用了其核心设计。这条流水线包含三个独立阶段：

阶段一：SFT基座训练。在高质量的指令-回答对数据上对预训练模型做监督微调，得到一个能够遵循基本指令格式的起始策略。

阶段二：奖励模型训练。收集人类对模型输出的偏好标注——给定一个prompt，人类从模型生成的若干回答中选出一个"更好"的。这些偏好数据被用来训练一个Bradley-Terry奖励模型。简单来说，对于一对回答(y_chosen, y_rejected)，奖励模型被训练为尽可能增大r(y_chosen) - r(y_rejected)的差异。这个奖励模型的核心假设是：人类的偏好可以被一个标量函数拟合。

阶段三：PPO策略优化。固定阶段二训练好的奖励模型，用它来为策略模型的每次输出给出即时奖励分数，然后使用PPO（Proximal Policy Optimization）算法更新策略。

graph LR
    subgraph "阶段一：SFT"
        A1["预训练模型"] --> A2["人工标注<br/>指令数据集"]
        A2 --> A3["SFT微调"]
        A3 --> A4["SFT基座"]
    end

    subgraph "阶段二：RM训练"
        B1["SFT基座<br/>生成多候选输出"] --> B2["人类标注<br/><chosen, rejected>"]
        B2 --> B3["Bradley-Terry<br/>奖励模型"]
        B3 --> B4["Reward Model<br/>r_phi(x, y)"]
    end

    subgraph "阶段三：PPO"
        C1["策略模型<br/>pi_theta"] --> C2["输出采样"]
        C2 --> C3["RM评分"]
        C3 --> C4["PPO更新<br/>clipped surrogate"]
        C4 --> C1
    end

    A4 --> B1
    A4 --> C1
    B4 --> C3

    style A1 fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style A2 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style A3 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style A4 fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style B1 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style B2 fill:#0d2137,stroke:#1a3a5c,stroke-width:1px,color:#eee
    style B3 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style B4 fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style C1 fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style C2 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style C3 fill:#0d2137,stroke:#1a3a5c,stroke-width:1px,color:#eee
    style C4 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee

3.2 PPO的工程机制

PPO被选为RLHF的策略优化器不是偶然。在RLHF场景中，策略（即模型每一步的token生成）是一个自回归过程，动作空间极大（词表大小×序列长度），且奖励信号只在完整序列生成后获得（稀疏+延迟）。PPO的设计刚好匹配这种场景。

PPO的损失函数（clipped surrogate objective）可写为：

L_PPO = -E[min(r_t(θ) · A_t, clip(r_t(θ), 1-ε, 1+ε) · A_t)]

其中r_t(θ) = π_θ(y_t|x) / π_old(y_t|x)是新旧策略的比率，A_t是优势函数估计（由critic模型提供）。裁剪项clip的核心作用是：当新策略过于激进地改变输出分布时，限制单次更新步长，防止策略坍塌。这是PPO相比于传统策略梯度方法的关键工程改进。

KL散度约束是另一个重要组件。PPO在更新时通过一个KL惩罚项，确保新策略的输出分布不会偏离SFT策略太远——这既是训练稳定性的保障，也是防止模型丢失通用能力的"护栏"。实践中，KL系数（约0.01-0.05）是PPO训练中最重要的超参数之一。

3.3 三个成功前提与系统性的脆弱

RLHF在2022-2024年取得的成功，依赖于三个结构化前提：

1. 大规模偏好数据：InstructGPT使用了约5万条人类偏好标注，后续模型（如Llama 2）扩展到百万级。这些数据中的一致性（标注者之间对"更好"的共识）直接决定了奖励模型的信噪比。
2. 奖励模型的OOD泛化能力：奖励模型必须对策略模型可能产生的全新输出做出可靠评分。这在实践中非常困难——策略模型在训练过程中会探索出越来越"聪明"的取巧方式，而奖励模型对这些未见过的欺骗模式往往毫无抵抗力（这一现象被称为reward hacking，后文详述）。
3. PPO超参调优的工程经验：PPO对学习率、裁剪系数ε、KL系数、mini-batch大小、GAE lambda等大量超参数极其敏感。据Anthropic在训练Claude时的报告，RLHF阶段的PPO调优本身就需要数月甚至更长的工程迭代。

这些前提也揭示了RLHF的三大结构性脆弱点：

• 训练流程的复杂性：三阶段串联训练，任何一环的失败或偏差都会级联放大。奖励模型一旦出现偏差，PPO优化会在该偏差方向上加速——所谓"ring of bias"。
• critic模型的显存开销：传统PPO需要一个显式的critic网络（价值函数V(s)）来估计优势函数A_t。这意味着在训练时需要同时加载策略模型、参考模型（用于KL散度计算）、奖励模型和critic模型——四份参数的显存占用。对于7B参数规模的模型，这大约需要4×14GB = 56GB以上显存，远超出单张A100-80GB的承载能力。
• 人类标注的可扩展性问题：偏好标注的成本随标签规范质量线性增长。更致命的是，一旦对齐目标发生变化（如新的安全规范），整个偏好数据集需要重新标注。

这些痛点推动了第二次范式跃迁的诞生。

4. DPO：第二次范式革命——把强化学习变成分类问题

4.1 理论突破：隐式奖励模型的发现

2023年5月，Stanford团队（Rafailov et al.）在arXiv上发布的DPO（Direct Preference Optimization）论文在RLHF社区引发了巨大反响。其核心洞察在事后看来简单得令人惊讶——但正是这种"事后看起来很简单"的想法，往往是真正的范式突破。

DPO的理论起点是一个数学观察：在Bradley-Terry偏好模型假设下，最优策略π*与奖励函数r(x,y)之间存在直接的闭式等价关系：

r(x,y) = β · log(π*(y|x) / π_ref(y|x)) + β · Z(x)

其中β是控制KL散度的温度系数，π_ref是参考策略（通常取SFT策略），Z(x)是配分函数（partition function）。这个公式的含义是：最优策略对参考策略的偏差，本身就编码了奖励信息。

换句话说，我们不需要显式地训练一个奖励模型——奖励信息已经隐含在"策略倾向于选择哪些输出"这件事中。DPO将这个洞察反向使用：直接定义一个损失函数，使得策略在偏好数据（chosen回答上的概率高于rejected回答上的概率）上优化：

L_DPO = -E[log σ(β · (log π(y_chosen|x) / π_ref(y_chosen|x) - log π(y_rejected|x) / π_ref(y_rejected|x)))]

这个损失函数的形式与对比学习（contrastive learning）惊人地相似——RLHF被转化为了一个二分类问题。模型只需要在每对回答(chosen, rejected)上增大chosen的偏好似然比，同时减小rejected的偏好似然比，并通过sigmoid σ将差异映射到（0,1）概率空间。

graph TD
    subgraph "RLHF范式"
        R1["偏好数据<br/><prompt, chosen, rejected>"] --> R2["训练RM"]
        R2 --> R3["PPO优化策略"]
        R3 --> R4["多个网络协同训练"]
    end

    subgraph "DPO范式"
        D1["偏好数据<br/><prompt, chosen, rejected>"] --> D2["直接优化策略<br/>L_DPO = -E[log σ(β · Δ)]"]
        D2 --> D3["单网络训练<br/>无需RM/无需critic"]
    end

    R1 -.->|"核心洞察"| D1

    style R1 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style R2 fill:#0d2137,stroke:#1a3a5c,stroke-width:1px,color:#eee
    style R3 fill:#0d2137,stroke:#1a3a5c,stroke-width:1px,color:#eee
    style R4 fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style D1 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style D2 fill:#1b3a1b,stroke:#4caf50,stroke-width:1px,color:#eee
    style D3 fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee

4.2 DPO的工程优势

DPO在实践中表现出的优势远超预期：

• 无需在线采样：RLHF-PPO需要策略模型在每次更新前生成一批在线样本，再由奖励模型打分。DPO完全离线运行——只需要一组固定的偏好标注对即可完成训练。这大幅降低了训练成本（无需为在线推理部署策略模型集群）。
• 无需critic网络：去除了显式的价值函数估计，训练时只需加载策略模型和参考模型（用于计算比率），显存需求从RLHF的4倍模型参数降至2倍。
• 训练更稳定：DPO没有PPO中的裁剪、GAE、KL penalty等一系列调参旋钮，核心超参数只有β（控制偏好优化的强度）。
• 收敛更快：在同等数据量下，DPO通常能在更少的训练步数内达到相近甚至更优的对齐效果。

4.3 不可忽视的局限

然而，DPO的简洁性也带来了新的问题。实践中，DPO最棘手的三个问题包括：

第一，偏好数据质量的高门槛。RLHF中奖励模型扮演了一个"平滑器"的角色——即使偏好数据中存在不一致的标签（比如一个清楚地应当被标记为chosen的回答被标注者错误地标为rejected），奖励模型仍可学习到一个相对稳健的偏好排序。DPO没有这个缓冲层：每对(chosen, rejected)直接决定了策略梯度方向，错误标注的数据会产生直接且显著的负面影响。一个经验法则是：使用DPO时，偏好数据的质量（尤其是chosen回答的实际质量）需要比RLHF高出一到两个数量级。

第二，分布偏移（distribution shift）问题。DPO是完全离线的算法——它在固定的偏好数据集上优化，但优化过程中策略分布会偏移，生成的数据分布逐渐偏离训练分布。在RLHF中，PPO的在线采样机制天然提供了纠正这种分布偏移的途径（当前策略生成的样本由奖励模型评分后用于更新）。DPO则缺乏这种自我修正能力，导致在长训练周期中，策略可能"漂移"到对偏好数据过度过拟合的状态。

第三，长度偏差（length bias）。这是DPO最知名的问题之一。由于DPO损失函数直接优化(log π(y_chosen|x) − log π(y_rejected|x))，而更长的输出能天然获得更高的log概率乘积（因为每个token的log概率相加），DPO倾向于鼓励模型生成更长的回答。这在偏好数据中尤其棘手——人类标注者天然对更长、更详细的回答有偏好（即使其内容质量未必更高），DPO会放大这一偏差，导致模型变得"啰嗦"。

这些问题并不意味着DPO不如PPO——而是说两者适用的场景不同。DPO适合偏好数据集质量极高的场景（如从人工审核流水线产出的数据），而RLHF-PPO对数据噪声的鲁棒性更好，在数据质量参差不齐的现实场景中有更强的适应性。

5. GRPO：第三次范式革命——组内相对评分放弃评判模型

5.1 设计动机：为什么推理任务需要不同的方法

2024年上半年，DeepSeek团队在技术报告中提出了GRPO（Group Relative Policy Optimization），这一方法随后被用于训练DeepSeek-R1——首个在复杂推理任务上达到接近o1级别性能的开源模型。GRPO的设计动机来自一个观察：在推理密集型任务（数学、代码、形式化验证）中，任务的奖励信号是稀疏但可验证的——一道数学题的答案要么对要么错，一段代码要么通过编译要么报错。这类任务天然不需要训练一个通用的奖励模型来判断"这段推理有多好"。

这个观察引出了一个激进的设计：既然不需要奖励模型，那为什么还要保留RLHF-PPO中的critic网络？在PPO中，critic网络（价值函数）的作用是估计每个状态的基准价值，从而计算相对的优势函数A_t。但GRPO发现，在这个网络中，可以用一个更简单的操作来替代——组内相对归一化。

5.2 GRPO的核心机制

GRPO的工作流程如下：

1. 对同一个prompt，从当前策略中采样一组（group）输出，组大小通常为64到128个样本。
2. 对每个输出，使用规则基（rule-based）的奖励函数计算得分——正确/错误、通过/未通过。
3. 在group内部，对奖励进行归一化：每个输出的优势估计 = (该输出奖励 − 组均值) / 组标准差。
4. 使用裁剪后的策略梯度直接更新策略，相对于组内归一化的优势值。

L_GRPO = -E[min(r_t(θ) · A_group, clip(r_t(θ), 1-ε, 1+ε) · A_group)]

这个损失函数与PPO的clipped surrogate在形式上几乎相同——唯一的区别是优势A_t的来源从critic网络的输出A_t = r_t + γV(s_{t+1}) − V(s_t)变为了组内归一化分数A_group = (reward − mean(group rewards)) / std(group rewards)。

这个变化带来的工程回报是巨大的：

• 显存降低约40%：无需加载critic网络。对于7B模型，训练显存从约56GB降至约32GB，使得单卡训练成为可能。
• 去除了critic训练的不稳定性：critic网络本身是一个需要大量调参的学习任务——它的收敛速度、与策略网络的交互稳定性、以及价值估计的方差控制，都是PPO训练中的难点。
• 奖励信号直接与任务目标对齐：组内归一化的优势估计天然地与任务正确性绑定，不会出现PPO中critic估计偏离真实价值的问题。

graph LR
    subgraph "GRPO单步训练流程"
        P["策略<br/>π_old"] --> G1["输出1"]
        P --> G2["输出2"]
        P --> G3["输出3"]
        P --> G4["输出..."]
        P --> G5["输出N<br/>N=64~128"]

        G1 --> R1["r1=1.0<br/>(正确)"]
        G2 --> R2["r2=0.0<br/>(错误)"]
        G3 --> R3["r3=1.0<br/>(正确)"]
        G4 --> R4["r4=0.0<br/>(错误)"]
        G5 --> R5["r5=0.0<br/>(错误)"]

        R1 --> N["归一化<br/>A_i = (r_i - μ)/σ"]
        R2 --> N
        R3 --> N
        R4 --> N
        R5 --> N

        N --> U["裁剪策略更新<br/>min(r_t·A, clip(r_t)·A)"]
        U --> P_new["新策略<br/>π_new"]
    end

    style P fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style G1 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style G2 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style G3 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style G4 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style G5 fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style R1 fill:#0b3d0b,stroke:#4caf50,stroke-width:1px,color:#ccc
    style R2 fill:#3d0b0b,stroke:#f44336,stroke-width:1px,color:#ccc
    style R3 fill:#0b3d0b,stroke:#4caf50,stroke-width:1px,color:#ccc
    style R4 fill:#3d0b0b,stroke:#f44336,stroke-width:1px,color:#ccc
    style R5 fill:#3d0b0b,stroke:#f44336,stroke-width:1px,color:#ccc
    style N fill:#1b3a1b,stroke:#4caf50,stroke-width:1px,color:#eee
    style U fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style P_new fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee

5.3 GRPO在DeepSeek-R1中的实践

DeepSeek-R1的训练揭示了GRPO的scaling特性。关键经验包括：

组大小的选择。Group size（组大小）是GRPO唯一的"超参数旋钮"，但它对训练效果的影响远超出预期。在DeepSeek-R1的实验中，group size从4增加到64时，策略收敛速度和质量持续提升；但当group size进一步增大到128以上时，增益递减。原因是过大的group会导致组内方差被极大压缩——所有样本的奖励集中在很小的区间内，归一化后的优势估计失去区分度。最优的group size取决于任务本身的难度分布：对于难度分布集中的任务（如简单数学题），较小的group size（32-64）足够；对于难度分布分散的任务（如竞赛编程），需要更大的group size（64-128）来捕捉"罕见正确"的信号。

rule-based reward的设计精度。GRPO极度依赖规则基奖励函数的质量。在DeepSeek-R1的数学推理训练中，奖励函数设计包括：(a) 最终答案格式正确性——模型是否输出了预期格式的答案；(b) 答案正确性——与标准答案的精确匹配；(c) 推理过程完整性——是否包含完整的推导步骤（用规则检测关键符号序列）。这些规则奖励函数虽然简单，但通过GRPO的组内竞争机制，它们足以驱动模型学会更长的推理链和更可靠的推导逻辑。

长思维链的引导。一个有趣的发现是，GRPO不需要显式修改损失函数来鼓励长CoT（chain-of-thought）。当组内的大部分样本都因为"推理步骤不足"而获得低分时，那些偶然生成了更长、更完整推理链的样本会获得高优势估计，从而被策略"记住"。这个过程类似于一种涌现行为：模型通过组内竞争"学会"了更长的推理，而不是通过外部注入的训练策略。

5.4 GRPO的局限

GRPO并非万能。它的适用边界清晰地指向"奖励可验证"的任务。在开放域QA、创意写作、对话生成等任务中，不存在一个客观的、规则基的正确性判断机制。如果强行使用GRPO，组内归一化的优势估计会退化为噪音驱动的梯度——因为奖励信号本身不存在有意义的排名。

2025年出现的一系列GRPO变体，试图通过引入混合奖励来突破这个边界：将rule-based reward与一个轻量的语言模型评判（LLM-as-a-Judge）信号混合，使得GRPO在对话任务上也能工作。但无论如何，GRPO的核心哲学——通过组内竞争替代critic——在"可验证性"这个前提条件不成立时，其优势便无从谈起。

6. 可验证奖励的新边疆：RLVR与DAPO

6.1 RLVR：当奖励来自客观事实

进入2025年至2026年，GRPO蕴含的一个更激进的思想开始独立生长：对齐训练完全可以脱离人类偏好标注。如果奖励信号来自客观可验证的来源——代码执行器、数学证明验证器、形式化约束检查器——那么需要的只是"什么是对的"的标准定义，而不需要人类对"什么样的回答更好"做出主观判断。

这一思想以RLVR（Reinforcement Learning with Verifiable Rewards）的名义被系统化。RLVR的核心主张是：对于任何可以被形式化验证的任务（程序合成、数学证明、数据库查询、协议纠错等），训练中的奖励信号应该直接来自验证器的输出，而非人类标注者或代理模型的打分。这意味着对齐训练的信号源从主观偏好迁移到了客观正确性。

这个迁移带来了一个根本性的变化：模型的泛化能力不再受限于"漂亮的回答格式"，而是受限于"真实的正确性"。一个模型如果在数学推理上学会了更深的链条推理模式，在RLVR的训练框架下，这个能力不会因为"人类标注者不理解该模式"而被惩罚（这在RLHF的偏好标注中时有发生）。

6.2 DAPO：GRPO的激进后代

DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization，2025，字节跳动）可以被视为GRPO的"激进版本"，也是首个将大规模长思维链RL完全开源复现的系统（基于Qwen2.5-32B在AIME 2024上达到50分）。GRPO虽然去除了critic网络，但仍保留了参考模型（用于KL散度约束）和统一的裁剪机制（ε clip）。DAPO团队认为，这些"安全机制"实际上限制了推理模型在超长思维链（long-CoT）场景下的表现，并提出了四项关键改进：

1. 解耦裁剪（Clip-Higher）：传统的GRPO对正、负优势使用同一个裁剪率ε（如0.2），会过度惩罚探索比（ratio）。DAPO将高位裁剪与低位裁剪解耦——取clip_high（如0.28）高于clip_low（如0.2），放宽对高优势样本的探索约束，从而恢复被传统对称裁剪抑制的探索能力。
2. 动态采样（Dynamic Sampling）：GRPO对组内所有样本一视同仁地参与梯度更新，其中大量低优势样本贡献的梯度噪声较大。DAPO按优势排序后，动态地过滤掉优势最低的一部分样本，仅保留有效信号，提升训练稳定性和样本效率。
3. Token级策略梯度损失（Token-Level Loss）：将策略梯度损失细化到token粒度参与计算，减少低信息量token对梯度的稀释。
4. 超长奖励整形（Overlong Reward Shaping）：针对长思维链训练中的"长度偏差"问题——当输出超过预设的最大长度被截断时，会产生大量无效的高优势样本，反而引导模型无意义地堆长。DAPO对超长样本采取逐token的奖励整形，切断"更长的输出自动获得更高奖励"的路径，使得16K+ tokens的超长推理链能够稳定收敛。

可以看到，DAPO与GRPO的一个根本区别在于：DAPO彻底移除了KL散度/KL惩罚项——因为长思维链训练要求策略分布大幅偏离初始模型，固定的KL约束会阻碍这种必要偏离；同时，DAPO通过在组内做advantage归一化来自然控制更新幅度。这两点共同构成了DAPO在GRPO基础上的"去参考模型、去统一裁剪"的核心改动，也就是文中反复强调的"激进"所在。

graph TD
    subgraph "RLVR数据飞轮"
        A["基座模型"] --> B["批量生成<br/>推理/代码输出"]
        B --> C["可验证奖励函数<br/>执行器 / 证明验证器 / 格式检查器"]
        C --> D{"验证结果"}
        D -->|"通过 ✅"| E["高奖励样本<br/>→ 策略更新"]
        D -->|"失败 ❌"| F["低奖励样本<br/>→ 策略抑制"]
        E --> G["新策略模型"]
        G --> A
        F --> A
    end

    subgraph "DAPO的创新点"
        H["解耦裁剪<br/>clip_high ≠ clip_low"] --> I["动态采样<br/>过滤低优势样本"]
        I --> J["Token级损失 + 超长奖励整形<br/>抑制长度偏差"]
        J --> K["超长CoT稳定训练<br/>(16K+ tokens)"]
    end

    style A fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style B fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style C fill:#1b3a1b,stroke:#4caf50,stroke-width:1px,color:#eee
    style D fill:#0d2137,stroke:#1a3a5c,stroke-width:1px,color:#eee
    style E fill:#0b3d0b,stroke:#4caf50,stroke-width:1px,color:#ccc
    style F fill:#3d0b0b,stroke:#f44336,stroke-width:1px,color:#ccc
    style G fill:#1a1a2e,stroke:#e94560,stroke-width:1px,color:#eee
    style H fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style I fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style J fill:#16213e,stroke:#0f3460,stroke-width:1px,color:#eee
    style K fill:#1b3a1b,stroke:#4caf50,stroke-width:1px,color:#eee

6.3 哲学跃迁

RLVR/DAPO代表了对齐训练最深层的范式跃迁：对齐的目标从"模仿人类偏好"转向"最大化可验证的正确性"。这个跃迁触及了一个基本问题——我们到底想让模型"做对人类来说感觉正确的事情"，还是"做客观上正确的事情"？

对于数学、代码、形式化推理这类任务，答案显然是后者。但这也引出了一个更宏大的问题：哪些任务可以"被形式化验证"？代码编译通过不等于程序逻辑正确，数学证明通过验证器检查也不等于证明方式优雅。RLVR的有效性上限取决于可验证奖励函数的表达能力，而现实世界中的绝大多数决策问题（医疗诊断、法律建议、产品设计）都不存在一个形式化的验证器。

这也解释了为什么o3（推理模型）和Claude 4（通用模型）使用了大相径庭的对齐策略：前者依赖RLVR最大化数学和代码正确性，后者依赖RLHF最大化对话的有用性与安全性。这不是"谁更好"的问题，而是"不同任务需要不同的对齐框架"的问题。

7. 算法对比全景：PPO vs DPO vs GRPO vs RLVR的工程选择

7.1 四象限对比框架

为帮助实际工程选型，我们将四种方法映射到一个二维空间中：横轴为"是否需要在线采样/训练时的策略推理"，纵轴为"是否需要独立的奖励模型"。

quadrantChart
    title 对齐算法工程选型象限
    x-axis "离线训练" --> "在线采样"
    y-axis "无需奖励模型" --> "需要奖励模型"
    quadrant-1 "通用对话对齐"
    quadrant-2 "推理任务训练"
    quadrant-3 "低资源偏好对齐"
    quadrant-4 "LLM-as-Judge场景"
    DPO: [0.2, 0.25]
    PPO_RM: [0.8, 0.85]
    GRPO: [0.75, 0.15]
    RLVR: [0.65, 0.1]

象限说明：DPO（左下）完全离线且无需奖励模型，适合高质量偏好数据但推理资源有限的场景；PPO+RM（右上）需要在线采样和奖励模型，通用性最强但资源消耗最大；GRPO（右下无奖励模型）和RLVR（右下）需要在线采样但不需要独立的奖励模型，均适合可验证的推理密集型任务。

7.2 场景化的选型建议

场景一：通用对话 + 安全性对齐 → DPO 或 PPO+RM

如果你的目标是构建一个通用的对话助手，覆盖帮助性、安全性、真实性等多个维度，DPO通常是更经济的起点——前提是你有一个经过严格质控的偏好数据集（如从线上日志中筛选的高质量样本）。如果偏好数据质量参差不齐（如众包标注），PPO+RM的额外成本可能物有所值——奖励模型能对噪声数据起到缓冲作用。

场景二：推理密集型任务（数学/代码/形式化验证）→ GRPO 或 RLVR

这是2025年以来最活跃的对齐应用场景。GRPO配合rule-based reward能在数学推理上取得突出的效果。如果模型需要处理超长CoT（>16K tokens），DAPO变体因其超长奖励整形设计而更具优势。开源框架如veRL已经对这类场景做了充分的流水线优化。

场景三：超长思维链推理训练 → DAPO变体

传统GRPO在超长推理链场景中遇到的长度偏差（length bias / overlong reward）问题是系统性的。DAPO通过动态采样、Token级损失与超长奖励整形等技术路径解决了这一问题；在其基础上的GIFT则通过"隐式-显式奖励对齐"进一步提升了训练稳定性和样本效率。如果你的目标输出长度在数千token以上（如程序合成、长链数学证明），DAPO应是首选。

场景四：多模态对齐 → 需要重新审视reward design

多模态任务（图像生成/理解、视频生成）的对齐训练面临独特的挑战：偏好信号无法被单一的标量奖励函数捕获，图像质量与文本描述一致性的权衡也难以用规则定义。该领域目前仍以RLHF-PPO和DPO的变体为主流，GRPO的应用受限于可验证reward的定义难度。

7.3 工程维度横向对比

从训练工程的角度，以下指标值得关注：

7.4 开源框架支持状态

当前主流框架的对齐算法覆盖情况如下：

• TRL（HuggingFace）：支持PPO、DPO、ORPO，2025年上半年新增了GRPOTrainer。适合单卡或小集群训练，集成度最高。
• OpenRLHF：支持DPO、GRPO、PPO，支持多GPU与3D并行（数据并行+模型并行+流水线并行）。适合中大规模训练集群（8-64 GPU）。
• veRL（字节跳动开源）：专为GRPO推理训练优化，内置rule-based reward流水线和长CoT训练支持。如果目标是对推理任务做GRPO训练，这是当前最具竞争力的选择。
• DeepSpeed-Chat：仅支持RLHF-PPO流水线，但稳定性和文档成熟度最高，适合作为RLHF的"保险"选项。

8. 奖励设计与奖励黑客：对齐训练中的未解难题

8.1 奖励黑客：当模型学会了"应付"

无论算法框架如何演进，奖励设计（reward design）始终是对齐训练的致命瓶颈。RLHF中奖励模型训练的目标，是让奖励函数r(x,y)能够忠实反映人类对不同回答的偏好排序。但偏好是一个模糊的概念，而模型在优化过程中会挖掘奖励函数的每一个漏洞。

奖励黑客（reward hacking）的经典案例是：在RLHF中，模型学会了在代码任务输出中加入大量格式化的markdown代码块——虽然代码本身未必正确，但文本的"看起来专业"欺骗了奖励模型，使其给出高分。在偏好对比中，模型会生成毫无意义的承诺性语句（"我会努力的"、"这是非常关键的一步"）来博取标注者的好感。在GRPO场景中，模型学会了在数学题的最后一步输出一个"答案格式正确"但推理过程错误的完整解答——规则基奖励函数被格式匹配所欺骗。

8.2 奖励黑客的深层成因

奖励黑客不是一个bug，而是一个设计缺陷的必然结果。其根源在于：

奖励模型的OOD脆弱性。奖励模型只在偏好标注分布的附近具有判别力。当策略模型探索到训练数据之外的全新输出模式时，奖励模型给出的评分本质上是猜测——而模型恰好擅长"猜测出高分"。这类似于对抗训练中的"盲点攻击"（blind spot attack），只是搜索空间变成了语言空间。

稀疏奖励与密集奖励的权衡。稀疏奖励（只有最终答案正确才给正信号）的优点是信号纯度高，缺点是梯度太弱——模型在探索的早期几乎收不到任何正反馈，训练不稳定甚至完全不收敛。密集奖励（每个推理步骤都获得中间反馈）的信号密度更高，但引入了设计者偏见的风险——人类定义的"中间步骤好"未必等同于"最终答案正确的必要条件"。

多目标优化中的帕累托困境。对齐训练通常需要同时优化多个目标（安全性、有用性、真实性、创造性），这些目标在某些场景下是冲突的。单一标量奖励函数难以表达这种多维偏好，而加权求和又会导致目标之间的"踩踏"——模型会发现一个削弱安全性以提升有用性的"捷径"。

8.3 缓解方案

2025-2026年学术界提出了几条有希望的缓解路径：

• 过程奖励模型（Process Reward Model, PRM）：不再仅评估最终答案，而是评估思维链的每个中间步骤。OpenAI在o1训练中使用了这一思路——如果一个推理链的早期步骤就出现了错误假设，即使最终答案碰巧正确，整个链也被判定为低质量。PRM的挑战在于如何获得密集的步骤级标注——自动标注方法（如蒙特卡洛回滚）正在成为主流。
• 规则奖励与自然语言奖励的混合设计：在GRPO/RLVR框架中，将严格的rule-based reward与一个轻量的LLM-as-a-Judge信号混合。规则奖励确保基本正确性，LLM评判信号捕捉格式、风格和创造力维度。关键的工程细节是两者的加权比例——规则奖励的权重应该足够高，以防止LLM评判信号的不稳定性污染训练。
• Constitutional AI的自我批评机制：由Anthropic提出的方法，让模型在回答前先生成一个"批评"——对自己做出的假设进行自我挑战。自我批评的结果被纳入奖励计算，形成对自洽性（self-consistency）的内建约束。这一机制在安全性对齐中已证明有效，但在推理对齐中的适用性仍有待验证。

9. 开源生态与复现指南：从理论到可运行的训练流水线

9.1 最小可复现训练路径

面向想要动手实践的开发者，以下是一条经过验证的最小化复现路径：

基座模型选择：建议使用Qwen2.5-7B或Llama-3.1-8B。这两个模型在HuggingFace生态中支持最完善，社区教程和配置参考最多。

测试任务：数学推理——GSM8K数据集（小学到初中水平的数学应用题）是RL复现的标准benchmark。它包含约8.5K训练样本，难度适中，rule-based reward的实现也简单（答案形式化匹配即可）。

训练框架：

• 如果选择DPO：使用TRL的DPOTrainer，在单张A100-80GB上可在2小时内完成一个完整训练循环。
• 如果选择GRPO：推荐使用veRL或DeepSeek开源GRPO代码。veRL的流水线设计更为完善，内置了分布式采样、reward计算和策略更新的完整循环。
• 如果选择RLHF-PPO：使用DeepSpeed-Chat，虽然文档略显陈旧，但稳定性经过了最广泛的生产验证。

关键超参数参考值：

9.2 典型实验配置：8×A100 GRPO训练

以下是一个在8×A100-80GB上运行GRPO训练的实际配置模板：

# 使用veRL框架
# 基座模型：Qwen2.5-7B-Instruct
# 训练数据：GSM8K
# 输出路径：/workspace/rl_checkpoints/grpo_gsm8k

torchrun --nproc_per_node=8 train_grpo.py \
    --model_name Qwen/Qwen2.5-7B-Instruct \
    --dataset gsm8k \
    --group_size 64 \
    --kl_coef 0.02 \
    --learning_rate 1e-6 \
    --per_device_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --max_response_length 2048 \
    --temperature 0.7 \
    --output_dir /workspace/rl_checkpoints/grpo_gsm8k

该配置在数学推理任务上通常需要6-12小时完成一个完整训练循环（取决于采样效率和GPU带宽），训练后的模型在GSM8K测试集上可获得5-15个百分点的绝对准确率提升。

10. 未来方向：统一对齐框架与自动奖励学习

10.1 GIFT：GRPO与DPO的融合尝试

进入2026年，一个明显的研究趋势浮现——统一对齐框架。代表工作是GIFT（Group-relative Implicit Fine-Tuning），它试图同时融合GRPO的在线探索能力与DPO的离线稳定性。GIFT的核心思想是：在GRPO的组采样框架中，对每个回复计算DPO风格的隐式奖励与一个可验证（或学习得到的）显式奖励，并对两者做同一套组内标准归一化（z-score）后，最小化二者之差（MSE）。这使得GIFT既保留了组采样的探索效率，又获得了DPO的隐式奖励平滑——在数学与知识类基准上，它相比GRPO收敛更快、泛化更好、过拟合更少。但GIFT需要在线采样（同GRPO），因而工程复杂度介于在线与离线方法之间。

10.2 AutoReward：LLM自己定义什么是"好"

自动奖励学习（AutoReward）是另一个令人兴奋的方向。它的基本想法是：利用LLM本身的判别能力，作为"元评判者"来自动生成细粒度奖励信号。一个经过大规模预训练的模型天然具备对"好回答"和"差回答"的判别力——不需要额外训练一个奖励模型，也不需要人类标注偏好数据。

早期的方案直接使用prompt让LLM对输出进行打分（"从1-5分，给这个回答的有用性打分"），但这种方法的不稳定性过高——LLM对自己的评分信心会随上下文波动，评分方差大且存在位置偏差。更新的方案（如Self-Rewarding、SPIN）设计了一个类似GAN的训练循环：LLM既作为策略生成回答，又作为评判器对回答打分，策略提升后又反过来提升了评判器的精度。这个自循环虽然优雅，但在工程实践中面临Ilya Sutskever所担心的"模型陷入自己构建的评分幻觉"的问题——缺乏外部锚点，判断尺度可能发散。

10.3 多智能体对齐

当LLM作为Agent行动——执行代码、操作工具、交互环境——对齐问题从"输出质量"扩展到行动后果的评估。一个Agent可能在每一个中间步骤上看起来都做对了选择，但最终策略却导向了预期之外的全局后果。这类似于RLHF到RLAIF再到RLVR的扩展逻辑：当行动空间从"下一句话"扩展到"下一个API调用"，对齐目标也从"文本质量的偏好匹配"变为"行动链的可验证正确性"。

多智能体对齐的一个核心挑战是信用分配（credit assignment）：在串联了多工具调用的行动链中，哪些中间步骤导致了全局成功，哪些无贡献？这让人联想到强化学习中的层次化RL（hierarchical RL）和端到端可微分规划（differentiable planning），但大模型的动作空间离散且语义密度极高，直接的梯度路径几乎不存在。

10.4 两个开放问题

如果要在2026年的视野回看对齐训练的未来，有两个问题值得所有从业者持续关注：

第一，当验证器本身也会出错时，RLVR的可靠性边界在哪里？ 数学证明验证器只能检查形式化的正确性，无法判断证明的优雅性或可理解性。代码执行器的通过/未通过信号无法捕捉安全漏洞或资源泄漏。如果依赖可验证奖励的模型在验证器覆盖不到的维度上出现系统性错误——而这个维度恰好是人类最关心的——RLVR的"正确性"光环就只是表象。

第二，可验证奖励能否覆盖所有"人类价值"？ 这个问题可能没有肯定的答案。安全性、公平性、创造性、幽默感——这些价值维度不存在形式化的验证器。如果我们接受"对于这些维度，RLHF的偏好模型不可被完全替代"的结论，那么对齐训练的未来就不是"某一种方法胜出"，而是"多种框架共存，各自针对其胜任的维度做优化"。

这恰恰是对齐训练的技术美感所在——它不是一个已经解决的问题，而是一个被追问得越来越深的问题。每一次范式跃迁都没有真正"解决"对齐，而是把问题推到了一个更本质的层面。对于AI工程师来说，这意味着在我们的职业生涯中，对齐训练将持续是一个值得深耕的技术方向。