标签
vLLM7 篇文章vLLM 对不同 GPU SM 架构的适配机制深度剖析
系统梳理 vLLM 如何针对 SM70(V100) 到 SM121(DGX Spark) 八代 GPU 选择不同的 Attention 后端、GEMM kernel、MoE 实现和量化路径。源码级分析 kernel 选择逻辑，附完整的 SM×功能支持矩阵，并以 1Cat-vLLM 社区分支为例探讨向下兼容的工程挑战。
从 llama.py 源码出发：vLLM 分布式推理机制深度剖析
以 vLLM 中 LlamaForCausalLM 的真实源码为入口，逐层拆解 Tensor Parallel 的权重切分（QKVParallelLinear、MergedColumnParallelLinear、RowParallelLinear）、Pipeline Parallel 的层间分配、PagedAttention 与分布式的结合，并以 Llama 3 70B 在 4×A100 上的具体数字示例说明。
vLLM 与 NVIDIA 加速库：从 CUTLASS 到全栈 Kernel 选择的深度剖析
深入剖析 vLLM 如何使用 NVIDIA 加速库全栈：CUTLASS 量化 GEMM（FP8/INT8/W4A8）、cuBLAS 密集计算、FlashInfer 注意力引擎、Triton 自定义 kernel，以及 2:4 结构化稀疏。源码级分析 kernel 选择逻辑、架构适配策略和性能对比。
vLLM fused_moe Kernel 深度剖析：Know Why & Know How
从 MoE 架构本质出发，深入 vLLM fused_moe Triton kernel 的实现细节：门控融合动机、token routing 与 block 对齐、分块 GEMM 的内存布局、FP8 量化路径、Expert Parallel 通信，以及 DeepSeek V3/Mixtral 等模型的实际受益分析。
vLLM 深度解析：从 PagedAttention 到生产部署
全面剖析 vLLM 推理引擎：PagedAttention 内存管理、Continuous Batching 调度、架构设计、多卡推理原理，以及与 TGI/SGLang/TensorRT-LLM 的对比和生产部署实践。
Ray：LLM 时代的分布式计算底座
深入解析 Ray 的架构设计、Core 三原语（Task/Actor/Object）、AI Libraries 生态以及在 LLM 训练和推理场景中的生产实践。
vLLM 推理优化实践
深入探讨 vLLM 推理引擎的优化策略，包括 PagedAttention、连续批处理和量化部署的实战经验。