HPC / AI Infra 面试课程

高性能计算、CUDA/Triton算子开发、编译优化、万卡系统与底层状态审计全景（参考答案版）

Tip💡 必备科研与开发生产力：海外 AI 充值渠道推荐

在学习 HPC、大模型系统与算子开发过程中，高频使用 Codex、Claude、Gemini、Grok 等 AI 会员与开发 API 接口进行代码辅助、架构设计与基线测试是必不可少的。为解决海外支付受限与账号风控痛点，推荐以下稳定可靠的充值渠道：

  • payai.top（🌟 综合首选推荐 / 重点推荐）：全能型海外 AI 充值服务平台。
    • 服务全面覆盖：一站式支持 Codex、Claude、Gemini、Grok 等主流 AI 会员订阅及开发者 API 充值；
    • 国内直连极速：支持国内常用便捷支付方式，全自动化对接，操作简便，分钟级闪电到账；
    • 纯正合规质保：精选海外合规正规支付通道，最大程度降低风控与封号隐患，配备专属人工客服与完善售后质保，是个人学习、学术科研与团队生产力出海的长期首选平台！
  • payai.win（💰 极致性价比优选）：主打超高性价比，GPT 充值更便宜，到账快捷，适合追求低成本长期订阅的同学。

（温馨提示：具体支持项目、实时汇率价格与到账说明请以平台官方页面为准。）

Note课程定位与使用原则
  • 本版本为 参考答案版：包含全部 108 节课的代码实现与深度核心问答题参考解析。
  • 逐课通关机制：按模块编号依次学习，建议独立完成代码填空与问答后再展开核对。
  • 评分标准：代码填空 4 分、问答题 Q1～Q3 各 2 分，通过线为 8/10 分。

推荐学习路径全景图

为帮助读者由浅入深、循序渐进地掌握大模型系统工程，全课程按照由单卡算子到微架构、由框架运行时到万卡集群系统、再到底层性能归因与状态审计的认知逻辑组织学习顺序：

flowchart TD
    subgraph Phase1["第一阶段：显存通信初探与核心算子筑基"]
        direction TB
        P1_Train["1. 训练系统基础 (Train 1~5)<br>显存账本、重计算、通信原语、DDP 与 ZeRO"]
        P1_CUDA["2. CUDA Kernel 算子开发 (17课)<br>线程映射、归约、Online Softmax、Tiled GEMM、DeepGEMM/DeepEP、具身与感知算子"]
        P1_Triton["3. Triton Kernel 算子开发 (10课)<br>SPMD 模型、Block 指针、Fused Softmax、Matmul Swizzle"]
        P1_Train --> P1_CUDA --> P1_Triton
    end

    subgraph Phase2["第二阶段：硬件微架构与编译优化抽象"]
        direction TB
        P2_CUTLASS["4. CUTLASS / CuTe 模板库 (8课)<br>CuTe Layout 代数、Tiled Copy/MMA、异步流水线"]
        P2_MLIR["5. MLIR 编译器技术 (8课)<br>多级 IR、SSA、Dialects、Pattern 重写、GPU Lowering"]
        P2_CUTLASS --> P2_MLIR
    end

    subgraph Phase3["第三阶段：框架运行时与端到端系统工程"]
        direction TB
        P3_Runtime["6. 框架运行时底层机制 (Runtime 11课)<br>PyTorch Dispatcher、Compile、通信拓扑、GDS 零拷贝、IPC 防泄漏、动态形状"]
        P3_Inference["7. 推理引擎源码与优化 (Inference 11课)<br>vLLM V1 三层解耦、SGLang RadixAttention、量化、TensorRT 插件、具身流式推理"]
        P3_Platform["8. 集群平台与网络存储 (Platform 8课)<br>RoCE/IB RDMA、GPUDirect、分级存储 IO、K8s 调度、Daly 容错"]
        P3_Runtime --> P3_Inference --> P3_Platform
    end

    subgraph Phase4["第四阶段：超大规模分布式并行与对齐算法进阶"]
        direction TB
        P4_Train["9. 训练系统实战进阶 (Train 6~16)<br>5D 并行编排、FlashAttention、具身 VLA 多模态时空对齐、动态微批次高吞吐"]
        P4_RL["10. 强化学习与大模型后训练 (RL 14课)<br>策略梯度、GAE、PPO、RLHF/RLVR、GRPO、连续动作高斯策略、真机/仿真混合回传飞轮"]
    end

    subgraph Phase5["第五阶段：底层不变量控制与状态审计实战"]
        direction TB
        P5_Diag["11. 性能剖析、死锁诊断与状态审计 (Diagnostics 5课)<br>Nsight 全链路 Timeline 逐帧归因、NCU 算子微架构瓶颈、NCCL 通信死锁逆向定位、FP8 数值下溢排查、Code Agent 不变量守护"]
    end

    Phase1 --> Phase2 --> Phase3 --> Phase4 --> Phase5
    P1_Train -.->|"可与后续系统课并行"| P4_RL
    Phase3 -.->|"系统遇到疑难杂症随时接入"| Phase5

课程体系大纲（按推荐学习路径排序）

第一阶段：分布式显存初探与核心算子开发

排序 课程模块 课数 核心技能与产出 前置条件
01 训练系统基础篇 (Train 1~5) 5 建立大模型静态显存与激活账本，掌握激活重计算与分布式通信原语，理解 DDP 与 ZeRO-1/2/3 切分机制 Transformer 架构与基础 PyTorch
02 CUDA Kernel 算子开发 17 掌握 GPU 线程块映射、Warp Shuffle 归约、Online Softmax、Tiled GEMM 共享内存分块，深入拆解 DeepSeek DeepGEMM/DeepEP，并实战具身 Flow Matching 求解器、3D 点云体素化与 QAT 伪量化 C/C++、线性代数、并行计算基础
03 Triton Kernel 算子开发 10 掌握 Pythonic SPMD 编程模型、Block 级指针代数、Fused Softmax、Matmul 与 Program ID 超分组 Swizzling Python、PyTorch、基础 CUDA 概念

第二阶段：硬件微架构抽象与编译优化技术

排序 课程模块 课数 核心技能与产出 前置条件
04 CUTLASS / CuTe 模板库 8 掌握 CuTe Layout 坐标映射代数、Tiled Copy / Tiled MMA 硬件抽象、Ampere/Hopper 异步拷贝流水线与 Kernel 选型 CUDA 线程模型、C++ 模板元编程
05 MLIR 编译器技术 8 掌握多级中间表示（Multi-Level IR）、SSA 支配树、Dialect 方言体系、ODS 定义、Pattern 重写与 GPU/LLVM 逐级 Lowering 编译原理基础、C++ 源码阅读能力

第三阶段：AI Infra 运行时与端到端系统工程

排序 课程模块 课数 核心技能与产出 前置条件
06 框架运行时底层机制 11 深入剖析 PyTorch Dispatcher 分发器、TorchDynamo/Inductor 编译追踪、NCCL 环形/树形通信底层、GPUDirect Storage 零拷贝 DMA、CUDA IPC 防泄漏与动态形状 Guard 抑制 Python、PyTorch 源码、CUDA 基础
07 推理引擎源码与优化 11 逐行走读 vLLM V1 三层解耦架构与 SGLang 核心源码，掌握 PagedAttention、RadixAttention 缓存复用、TensorRT 10+ IPluginV3 插件生命周期、具身连续动作流式引擎与端侧混合精度部署 训练基础、CUDA/Triton、Transformer 架构
08 智算集群平台与可靠性 8 掌握智算中心 Spine-Leaf 网络拓扑、RoCE v2 / InfiniBand RDMA 无损网络、GPUDirect Storage 分级存储、K8s 拓扑感知调度与 Daly 最优 Checkpoint 容错模型 Linux 网络/系统运维基础、分布式训练经验

第四阶段：超大规模分布式并行与对齐算法进阶

排序 课程模块 课数 核心技能与产出 前置条件
09 训练系统实战进阶 (Train 6~16) 11 深入掌握张量并行（TP）、序列并行（SP）、上下文并行（CP）、流水线并行（PP）、专家并行（EP）与 5D 并行协同，精通具身 VLA 双网格解耦（Cross-Mesh Resharding）通信拓扑与非均质阶段 1F1B 流水线气泡消除 训练系统 1~5 课、算子开发基础
10 强化学习与大模型后训练 14 从 MDP、Bellman 方程、策略梯度定理与 GAE 出发，掌握 PPO、RLHF/RLVR 到 DeepSeek GRPO 组内相对奖励机制，进阶掌握物理连续动作高斯/Beta 策略与真机-仿真混合回传飞轮 概率论与数理统计、深度学习基础

第五阶段：底层不变量控制与状态审计实战

排序 课程模块 课数 核心技能与产出 前置条件
11 AI 系统性能剖析、死锁诊断与状态审计 5 穿透框架封装直达物理执行真相：掌握 Nsight Systems 逐帧 Timeline 气泡消除、Nsight Compute 微架构瓶颈归因、NCCL 分布式通信死锁逆向定位、FP8/BF16 浮点数值精度异常排查，构建 Code Agent 时代生产级底层不变量审计守护体系 全课程前置知识综合运用

🎯 面试备战进阶与系统设计专栏

专为大厂高薪面试、白板推导与高阶架构设计考察量身定制的冲刺武器库：

专项板块 核心技能与定位 建议使用时机
💡 面试核心公式与推导速查表 (The Ultimate Cheatsheet) 涵盖显存账本（静态/动态/ZeRO-1/2/3）、通信原语带宽模型、MFU/HFU 精算、KV Cache 容量、Roofline 硬件拐点与流水线气泡的一页纸白板推导速记 面试前候场 60 秒极速复习与白板算账必背
🏗️ AI Infra 高频系统设计专题 (System Design) 包含四步标准化推导方法论，提供 3 大工业级全景设计案例（万卡千亿 MoE 预训练平台、高并发低延迟 PD 分离推理集群、具身车队数据飞轮与持续后训练） 冲刺 P7+ 资深工程师、技术专家与架构师岗位必刷
🎁 独家面试真题汇总 (闲鱼: archer中了箭) 真实一线大厂 CUDA 算子开发、HPC 通信调优、大模型预训练与推理引擎高频真题题库与八股深度解析 备战大厂高薪 Offer、手撕 Kernel 与面试押题必备

本地开发与在线预览

你可以使用 Quarto 官方工具在本地进行实时热更新预览：

# 1. 启动本地实时预览服务器（代码修改实时刷新）
quarto preview

# 2. 静态编译全站（产物位于 _site/）
quarto render

# 3. 将单篇 .qmd 导出为 Jupyter Notebook (.ipynb)
quarto convert train/lesson01.qmd --output train/lesson01.ipynb

验证基线与事实依据

  • 课程标准：以 Ultra-Scale Playbook、vLLM/SGLang 固定源码快照、NVIDIA CUDA/CUTLASS 官方文档、Triton/MLIR 官方文档和原始前沿论文为事实基线。
  • 环境要求：支持静态审查与多平台运行，云端通过 Quarto 静态机制直接托管于 GitHub Pages，无需本地或云端 NVIDIA GPU 依赖即可随时查阅。