标签

系统梳理 vLLM 如何针对 SM70(V100) 到 SM121(DGX Spark) 八代 GPU 选择不同的 Attention 后端、GEMM kernel、MoE 实现和量化路径。源码级分析 kernel 选择逻辑，附完整的 SM×功能支持矩阵，并以 1Cat-vLLM 社区分支为例探讨向下兼容的工程挑战。

深入剖析 vLLM 如何使用 NVIDIA 加速库全栈：CUTLASS 量化 GEMM（FP8/INT8/W4A8）、cuBLAS 密集计算、FlashInfer 注意力引擎、Triton 自定义 kernel，以及 2:4 结构化稀疏。源码级分析 kernel 选择逻辑、架构适配策略和性能对比。

从 MoE 架构本质出发，深入 vLLM fused_moe Triton kernel 的实现细节：门控融合动机、token routing 与 block 对齐、分块 GEMM 的内存布局、FP8 量化路径、Expert Parallel 通信，以及 DeepSeek V3/Mixtral 等模型的实际受益分析。