强化学习与大模型后训练

14 课强化学习算法演进、LLM Post-Training 与具身连续控制闭环

强化学习与后训练核心主线

打通从经典强化学习（MDP、Bellman 方程、策略梯度、PPO）到大模型后训练（RLHF、DPO、RLVR、GRPO）、分布式 Rollout/Training 架构，并进阶推导物理连续动作空间高斯/Beta 策略与端云真机-仿真混合回传飞轮。

学习目标

  1. 掌握 MDP 建模、Bellman 递推、优势估计（GAE）与 PPO 裁剪机制；

  2. 理解从经典 RL 到大模型 Token 级 MDP 与完整序列 Bandit 的映射关系；

  3. 深入分析 RLHF (PPO vs DPO) 与 DeepSeek-R1 式的 GRPO 组内相对优势计算；

  4. 掌握多节点大规模 RL 系统（Rollout Worker、Actor-Learner 分布式通信合同）的设计考量；

  5. 掌握物理连续动作空间高斯重参数化、动力学平滑惩罚与 GPU 向量化仿真（Isaac Lab）及真机影子模式数据飞轮。

课程目录

课程名称 模块归属
强化学习与大模型后训练 · 第 1/14 课：MDP、回报与 Bellman 递推 强化学习核心算法
强化学习与大模型后训练 · 第 2/14 课：Monte Carlo、TD 与偏差—方差 强化学习核心算法
强化学习与大模型后训练 · 第 3/14 课：策略梯度与基线 强化学习核心算法
强化学习与大模型后训练 · 第 4/14 课：GAE 与优势估计 强化学习核心算法
强化学习与大模型后训练 · 第 5/14 课：PPO：比率裁剪与训练循环 强化学习核心算法
强化学习与大模型后训练 · 第 6/14 课：价值损失、熵与多目标优化 强化学习核心算法
强化学习与大模型后训练 · 第 7/14 课：DQN：回放、目标网络与过估计 强化学习核心算法
强化学习与大模型后训练 · 第 8/14 课：SAC：最大熵与温度 强化学习核心算法
强化学习与大模型后训练 · 第 9/14 课：离线 RL 与分布外动作 强化学习核心算法
强化学习与大模型后训练 · 第 10/14 课：RLHF/RLVR：奖励来源、KL 与 token 对齐 大模型后训练对齐
强化学习与大模型后训练 · 第 11/14 课：GRPO 与组内相对优势 大模型后训练对齐
强化学习与大模型后训练 · 第 12/14 课：大规模 RL 系统：rollout、训练与评测 大模型后训练对齐
强化学习与大模型后训练 · 第 13/14 课：连续动作空间 RL 系统：高斯与 Beta 策略、动作平滑惩罚与动力学约束 具身与控制闭环进阶
强化学习与大模型后训练 · 第 14/14 课：真机与仿真混合回传飞轮：分布式向量化仿真与 Sim-to-Real 数据闭环 具身与控制闭环进阶