CUDA Kernel 面试主线
17 课 GPU 底层算子与性能优化
CUDA Kernel 核心主线
从最底层的 GPU 线程映射出发，逐层深入 Warp 归约、共享内存 Tiling、Bank Conflict 消除、数值稳定算子（RMSNorm/LayerNorm/Online Softmax）、Tiled GEMM，进阶拆解工业级前沿代表作：DeepSeek DeepGEMM（Hopper TMA + WGMMA 异步 FP8 内核）与 DeepEP（MoE 专家并行超低延迟通信算子），并拓展具身智能与自动驾驶关键算子：连续动作 Diffusion/Flow Matching 去噪求解器、3D 点云体素化聚合算子以及硬件感知 QAT 伪量化算子。
学习目标
熟练掌握 Thread / Warp / Block / Grid 坐标系统与 Grid-Stride Loop；
掌握 Warp Shuffle 指令与 Block 级双阶段树状归约；
掌握 Shared Memory Tiling、Bank Conflict 避让（Padding 技巧）与合并访存（Coalesced Access）；
掌握 Online Softmax 与 FlashAttention 前置算法的数学推导与数值稳定设计；
深入理解 Hopper (SM90) 硬件级 TMA、WGMMA 异步流水线与 DeepSeek 细粒度分块量化；
掌握 MoE 专家并行通信拓扑、SM 硬件算力分区与 Mega-MoE 计算-通信无缝重叠机制；
掌握具身智能 Flow Matching 去噪积分步进、3D 点云体素化与 QAT 伪量化 STE 底层算子实现。