LLM 推理优化与部署：vLLM / TGI / 量化 / KV-Cache

2026 年的 LLM 应用，推理成本是最大的运营支出。

这门课不讲"怎么调用 OpenAI API"，讲怎么把 LLM 推理的吞吐量提升 10 倍、成本降低 90%。

为什么推理优化是 2026 年的核心技能

LLM 应用的"上线三道坎"：

1. 能不能用——Prompt + API（已解决）
2. 能不能跑——RAG + Agent（部分解决）
3. 能不能便宜地跑——推理优化（这是最大的瓶颈）

真实案例：

• 一家 AI 公司用 vLLM 替代 HF Transformers：推理吞吐量提升 24 倍
• 另一家用 INT8 量化替代 FP16：显存占用降低 50%
• 再一家用 Speculative Decoding：延迟降低 2 倍

这些优化不是玄学，是实实在在的成本节约。

课程前置知识

• ✅ Python / Linux
• ✅ 基础 GPU 知识（CUDA、显存）
• ✅ LLM 工程师基础

---

📚 完整章节大纲（16 章）

模块一：基础（第 1-4 章）

第 1 章：LLM 推理的性能瓶颈

• LLM 推理的两个阶段：Prefill（处理 prompt）+ Decode（生成 token）
• 为什么 Decode 是瓶颈：受限于显存带宽
• 三个核心指标：吞吐量（Throughput）、延迟（Latency）、首 Token 延迟（TTFT）

第 2 章：为什么需要优化——性能基准

• HuggingFace Transformers 基准测试
• vLLM vs HF Transformers：吞吐量对比
• 生产经验：优化前后成本能差 5-10 倍

第 3 章：GPU 硬件基础

• A100 / H100 / H200 显存与带宽对比
• 4090 / 5090：消费级 GPU 的推理能力
• 显存计算：模型参数 + KV Cache + 激活值

第 4 章：优化策略全景图

• 4 大类优化：系统级（vLLM / TGI）、量化（INT8/INT4）、算法级（Speculative）、架构级（MoE）
• 生产经验：不同场景的优化组合

模块二：vLLM 与 TGI（第 5-9 章）

第 5 章：vLLM 核心原理——PagedAttention

• 传统 KV Cache 的问题：显存浪费
• PagedAttention：借鉴操作系统的虚拟内存
• Continuous Batching：动态批处理
• 生产经验：vLLM 是 2026 年的事实标准

第 6 章：vLLM 实战——部署第一个模型

• 安装与启动
• OpenAI 兼容 API
• 多模型服务：一台机器部署多个模型
• 实战：用 vLLM 部署 Qwen2.5-72B

第 7 章：vLLM 高级特性

• 流式输出：SSE / WebSocket
• 多 GPU 部署：Tensor Parallel / Pipeline Parallel
• Prefix Caching：Prompt 缓存
• Speculative Decoding 集成

第 8 章：TGI（Text Generation Inference）

• HuggingFace 官方推理服务
• TGI vs vLLM：选型决策
• Rust 实现：为什么 TGI 性能优秀

第 9 章：其他推理引擎

• SGLang：高性能推理
• TensorRT-LLM：NVIDIA 优化
• LMDeploy：清华团队
• 生产经验：选型决策树

模块三：量化与优化（第 10-14 章）

第 10 章：量化基础

• FP16 / BF16 / INT8 / INT4
• PTQ vs QAT：训练后量化 vs 量化感知训练
• 精度损失：每个精度档位的精度对比
• 生产经验：量化是性价比最高的优化

第 11 章：GPTQ / AWQ 量化

• GPTQ 原理
• AWQ：激活感知权重量化
• 实战：用 AutoGPTQ 量化 Llama-3.1-8B 到 INT4
• 生产经验：GPTQ vs AWQ 选型

第 12 章：KV Cache 优化

• Multi-Query Attention (MQA)：共享 K/V
• Grouped-Query Attention (GQA)：折中方案
• KV Cache 量化：进一步压缩
• 生产经验：长上下文场景的 KV Cache 优化

第 13 章：Speculative Decoding——用小模型加速大模型

• 核心思想：小模型草稿 + 大模型验证
• EAGLE / Medusa：业界方案
• 实战：用 Medusa 加速 Llama-3.1-70B
• 生产经验：什么时候用、什么时候不用

第 14 章：Continuous Batching 与调度

• Static Batching vs Continuous Batching
• 请求调度策略：FCFS / SJF / Priority
• 生产经验：怎么配置 vLLM 的调度器

模块四：生产化（第 15-16 章）

第 15 章：可观测性

• vLLM 指标：吞吐量、延迟、KV Cache 使用率
• 生产监控：用 Prometheus + Grafana
• 性能分析：vLLM Profiler

第 16 章：总结：推理优化路线图

• 16 章回顾：从 vLLM 到 Speculative Decoding
• 优化清单：从 0 到 1 优化 LLM 推理的 20 个步骤
• 接下来学什么：LLM 微调实战、LLM 时代的 MLOps
• 求职 / 创业：怎么用推理优化项目展示能力

---

✅ 检查清单

完成后回来勾选：

• 能解释 PagedAttention 的核心原理
• 能用 vLLM 部署一个 70B 模型
• 能用 AWQ 量化模型到 INT4
• 能用 Speculative Decoding 加速推理
• 能做完整的推理性能监控
• 能把 LLM 推理成本降低 5 倍以上

---

推荐资源

资源	类型	链接
vLLM 官方文档	库	https://docs.vllm.ai
vLLM PagedAttention 论文	论文	https://arxiv.org/abs/2309.06180
HuggingFace TGI	服务	https://github.com/huggingface/text-generation-inference
TensorRT-LLM	框架	https://github.com/NVIDIA/TensorRT-LLM
SGLang	框架	https://github.com/sgl-project/sglang

---

下一步

推理优化是降低运营成本的关键。如果你：

• 想理解 LLM 训练 → LLM 微调实战
• 想做 LLM 应用的完整生产化 → LLM 时代的 MLOps
• 想做多模态应用 → 多模态应用工程