标签

以 vLLM 中 LlamaForCausalLM 的真实源码为入口，逐层拆解 Tensor Parallel 的权重切分（QKVParallelLinear、MergedColumnParallelLinear、RowParallelLinear）、Pipeline Parallel 的层间分配、PagedAttention 与分布式的结合，并以 Llama 3 70B 在 4×A100 上的具体数字示例说明。

全面剖析 vLLM 推理引擎：PagedAttention 内存管理、Continuous Batching 调度、架构设计、多卡推理原理，以及与 TGI/SGLang/TensorRT-LLM 的对比和生产部署实践。

深入解析 Ray 的架构设计、Core 三原语（Task/Actor/Object）、AI Libraries 生态以及在 LLM 训练和推理场景中的生产实践。

一份面向工程师的 AI 系统学习路径，从线性代数到 Transformer，从推理优化到 Agent 落地，结合实际工程经验梳理核心知识体系。

深入探讨 vLLM 推理引擎的优化策略，包括 PagedAttention、连续批处理和量化部署的实战经验。

分享 AI Agent 在企业级应用中的工程实践经验，包括 ReAct 模式、工具调用和生产部署的关键要点。