训练系统 / Ultra-Scale Playbook

16 课大模型训练系统工程与并行架构

训练系统核心主线

本主线聚焦于超大规模大语言模型（LLM）与多模态具身/智驾训练系统的核心技术，以 Ultra-Scale Playbook 与现代工业界训练实践为基准，覆盖显存/通信账本推导、并行模式切分、5D 并行综合系统设计以及多模态时空对齐与微批次高吞吐优化。

学习目标

完成本系列 16 课学习后，你将具备：

  1. 精准显存账本：独立推导参数、梯度、优化器状态与激活值在不同精度和并行策略下的常驻显存与峰值显存；

  2. 通信代价建模：熟练推导 Ring AllReduce、ReduceScatter、AllGather 等通信原语的单卡通信量与延迟/带宽模型；

  3. 5D 并行切分实战：能够根据具体集群规模（GPU 卡数、NVLink 域、节点拓扑）组合 DP/ZeRO、TP、SP、CP、PP 与 EP；

  4. 性能调优与故障排查：掌握 Prefetch 重叠、重计算（Activation Checkpointing）、算子融合与混合精度训练的工程边界；

  5. 异构 5D 并行与非对称流水线进阶：掌握具身 VLA 双网格解耦（Cross-Mesh Resharding）通信拓扑、Projector 权重切分、非均质阶段 1F1B 气泡消除与层重平衡优化。

课程目录

课程名称 模块归属
训练系统 · 第 1/16 课：训练流程与显存账本 Ultra-Scale 核心训练系统
训练系统 · 第 2/16 课：激活、重计算与梯度累积 Ultra-Scale 核心训练系统
训练系统 · 第 3/16 课：分布式通信原语 Ultra-Scale 核心训练系统
训练系统 · 第 4/16 课：数据并行 DP Ultra-Scale 核心训练系统
训练系统 · 第 5/16 课：ZeRO 与 FSDP Ultra-Scale 核心训练系统
训练系统 · 第 6/16 课：张量并行 TP Ultra-Scale 核心训练系统
训练系统 · 第 7/16 课：序列并行 SP Ultra-Scale 核心训练系统
训练系统 · 第 8/16 课：上下文并行 CP Ultra-Scale 核心训练系统
训练系统 · 第 9/16 课：流水线并行 PP Ultra-Scale 核心训练系统
训练系统 · 第 10/16 课：专家并行 EP Ultra-Scale 核心训练系统
训练系统 · 第 11/16 课：5D 并行 Ultra-Scale 核心训练系统
训练系统 · 第 12/16 课：配置搜索与性能诊断 Ultra-Scale 核心训练系统
训练系统 · 第 13/16 课：GPU 内核与 FlashAttention Ultra-Scale 核心训练系统
训练系统 · 第 14/16 课：混合精度与综合面试 Ultra-Scale 核心训练系统
训练系统 · 第 15/16 课：异构 5D 并行：具身 VLA 与多模态跨 Mesh 通信拓扑实战 工业前沿进阶
训练系统 · 第 16/16 课：非均质流水线调度：具身多频异构 1F1B 与非对称气泡消除实战 工业前沿进阶

核心架构图解