RAG 系统设计与实现：从 Demo 到生产

RAG 是 2026 年最主流的 LLM 应用架构。90% 的企业 LLM 项目本质都是 RAG。

这门课不讲"怎么跑通 LangChain QuickStart"，讲怎么把 RAG 做成一个能扛住生产环境的系统。

为什么 RAG 这么重要

大模型的三大局限：

1. 幻觉：会编造不存在的事实
2. 知识陈旧：训练数据有截止日期
3. 私域知识：不知道你公司内部的数据

RAG（Retrieval-Augmented Generation）用检索 + 生成的方式，把外部知识塞进 LLM 的 context，直接解决这三大问题。

但——RAG 的"demo"和"生产"完全是两回事：

Demo 级 RAG	生产级 RAG
上传 PDF → 切片 → 检索 → 生成	多源文档 + 智能切片 + 混合检索 + 重排序 + 评估 + 监控 + 安全
准确率 60%	准确率 95%+
文档 < 100 个	文档 100 万+
一次返回 5 个片段	智能选 top-k、动态压缩
没人评估	完整评估体系

这门课聚焦生产级 RAG。

课程前置知识

• ✅ LLM 工程师基础
• ✅ Prompt 工程精通
• ✅ Python 中级（异步、类型注解、Pydantic）
• ✅ 基本 SQL / 数据库

---

📚 完整章节大纲（22 章）

模块一：RAG 心智模型（第 1-3 章）

第 1 章：RAG 是什么、不是什么——纠正常见误解

• RAG = Retrieval-Augmented Generation，本质是"检索 + 生成"
• 为什么 RAG 不是"万能解药"——它的边界
• RAG vs Fine-tuning vs Long Context——什么时候用什么
• 生产经验：RAG 不适合的场景（5 个反例）

心智模型：RAG 是给 LLM 的"开卷考试"。

第 2 章：RAG 的完整流程——从文档到答案的全链路

• 文档解析（PDF / Word / HTML / Markdown / 数据库）
• 切片（Chunking）——最被低估的环节
• 嵌入（Embedding）——把文本转成向量
• 存储（向量数据库）——高效检索
• 检索（Retrieval）——找出相关片段
• 重排序（Reranking）——精排
• 后处理——压缩、引用、过滤
• 生成（Generation）——LLM 整合

实践：跑通一个最小 RAG（30 行代码）。

第 3 章：RAG 架构模式——4 种典型架构

• Naive RAG：最简单的检索 + 生成
• Advanced RAG：加入 Query 改写、HyDE、多路召回
• Modular RAG：把 RAG 拆成可替换的模块
• GraphRAG：用知识图谱增强（Microsoft GraphRAG）

对比表：什么场景用什么架构。

模块二：文档处理（第 4-7 章）

第 4 章：文档解析——文本提取的 7 个坑

• PDF 解析的 5 个难点（扫描件、双栏、表格、图片、公式）
• Word / PPT / Excel 的解析策略
• HTML 的清理与正文提取
• 实战：用 Unstructured / Docling 处理复杂文档

练习：解析 10 种格式的真实文档。

第 5 章：切片策略——最被低估的环节

• 为什么"按字数切"是错的
• 5 种切片策略：固定长度、句子、段落、语义、层次化
• 递归切片的实现细节
• 什么时候用小切片、什么时候用大切片

练习：对比 5 种切片策略在 100 篇文档上的检索准确率。

第 6 章：元数据增强——给文档加上"索引"

• 为什么元数据是 RAG 系统的"二级索引"
• 实战：给文档加时间、作者、分类、标签
• 元数据过滤：把"上周的产品文档"和"上月的销售数据"分开检索
• Hybrid Search：向量检索 + 关键词检索（BM25）

练习：为你的文档库设计元数据 Schema。

第 7 章：多模态文档——图片、表格、公式

• OCR（光学字符识别）集成
• 表格解析：把表格转成 Markdown / DataFrame
• 公式识别：用 LaTeX 表示
• 实战：处理 100 份带图表的产品手册

练习：把含 50 个表格的 PDF 转成可检索的知识库。

模块三：嵌入与检索（第 8-11 章）

第 8 章：Embedding 模型选型

• Embedding 模型的本质：把文本映射到语义空间
• 主流模型对比：OpenAI text-embedding-3 / BGE / M3E / Cohere
• 中文场景的 Embedding 选型
• 生产经验：微调 Embedding 模型

练习：用 5 个 Embedding 模型对比检索准确率。

第 9 章：向量数据库——选型与原理

• 向量数据库的核心操作：KNN / ANN
• 主流向量数据库：Pinecone / Weaviate / Qdrant / Milvus / pgvector
• 选型决策树：什么场景选什么库
• 生产经验：向量数据库的 5 个常见坑

练习：用 Qdrant 存储 10 万个文档向量。

第 10 章：高级检索——从 Naive 到 Advanced

• Query 改写：让模糊问题变清晰
• HyDE（Hypothetical Document Embeddings）
• 多路召回：向量 + BM25 + 标签
• Step-back Prompting：让 LLM 先回答抽象问题

练习：实现一个 4 路召回系统。

第 11 章：重排序（Reranking）——精排的艺术

• 为什么需要 Rerank——粗排 vs 精排
• 主流 Rerank 模型：Cohere / BGE-Reranker / Jina
• 生产经验：Rerank 的延迟与成本权衡
• LTR（Learning to Rank）：用用户反馈训练排序模型

练习：把检索准确率从 75% 提升到 92%。

模块四：生成与增强（第 12-14 章）

第 12 章：Context 整合——把多个片段拼成最佳 Prompt

• Context Window 管理：超长文档怎么办
• Lost in the Middle：LLM 对 context 中间的内容关注度低
• Context 压缩：用 LLM 压缩检索片段
• 引用溯源：让 LLM 告诉你答案来自哪个文档

练习：实现一个带引用溯源的 RAG。

第 13 章：Advanced Prompt——RAG 专属 Prompt 模式

• RAG-Fusion：多 Query 融合
• Self-RAG：让 LLM 自己判断要不要检索
• Corrective RAG（CRAG）：检索错了自动重检索
• Agentic RAG：让 Agent 决定检索策略

练习：实现 Corrective RAG。

第 14 章：GraphRAG——用知识图谱增强 RAG

• 知识图谱基础：实体、关系、属性
• Microsoft GraphRAG 的核心思想
• 实战：用 LLM 自动构建知识图谱
• 什么时候用 GraphRAG、什么时候用普通 RAG

练习：为你的企业文档构建一个 GraphRAG。

模块五：评估与监控（第 15-18 章）

第 15 章：RAG 评估体系——怎么知道你的 RAG 是好的

• 评估的三个维度：检索质量、生成质量、端到端质量
• 评估数据集怎么构建
• 核心指标：Context Precision / Answer Relevancy / Faithfulness
• 工具：RAGAS / TruLens / DeepEval

练习：为你的 RAG 系统构建第一个评估集。

第 16 章：检索评估——Precision / Recall / MRR / NDCG

• 检索评估的 5 个核心指标
• 怎么标注"正确答案"
• A/B 测试：线上对比两个检索策略
• 生产经验：评估数据的收集与更新

练习：评估你的检索系统，找到最弱的环节。

第 17 章：端到端评估——用 LLM 做评委

• LLM-as-a-Judge：用 GPT-4 评估你的 RAG 输出
• 评估 Prompt 设计
• 生产经验：LLM 评估的偏差与应对
• 人工评估：什么时候必须人工

练习：用 RAGAS 评估你的 RAG 系统。

第 18 章：监控与可观测性

• 必备的 7 个 RAG 监控指标
• 检索失败的 5 类原因诊断
• 生产案例：用 LangFuse / LangSmith 监控 RAG
• 告警设计：什么时候该报警

练习：给你的 RAG 系统加上完整监控。

模块六：生产化（第 19-22 章）

第 19 章：性能优化——QPS 与延迟

• 检索优化：批量查询、缓存、量化
• 生成优化：流式响应、异步处理
• 端到端优化：让 RAG 延迟 < 2 秒
• 压测：用 Locust / k6 测试系统

练习：把 RAG 系统的 P99 延迟从 5 秒降到 1.5 秒。

第 20 章：成本优化——把 RAG 成本砍一半

• Embedding 成本：选便宜的模型、批量嵌入
• LLM 成本：Context 压缩、缓存
• 向量数据库成本：自托管 vs SaaS
• 生产案例：从 $5000/月 降到 $800/月

练习：计算并优化你下一个 RAG 项目的成本。

第 21 章：安全与合规

• 数据隐私：敏感文档怎么保护
• Prompt Injection：用户问题里的攻击
• 内容审核：输出合规性
• 审计日志：满足金融、医疗合规要求

练习：为你的 RAG 加上完整安全层。

第 22 章：总结：你的 RAG 路线图

• 22 章回顾：从 Naive RAG 到 GraphRAG
• RAG 成熟度模型：5 个阶段
• 接下来学什么：向量检索内核解析、AI Agent 架构师
• 求职 / 创业：怎么用 RAG 项目展示能力

---

✅ 检查清单

完成后回来勾选：

• 能解释 4 种 RAG 架构的差异与适用场景
• 能处理 PDF / Word / HTML / 多模态文档
• 能选择合适的 Embedding 模型与向量数据库
• 能实现多路召回 + 重排序
• 能用 GraphRAG 增强企业知识
• 能用 RAGAS 评估 RAG 系统
• 能优化 RAG 到 P99 < 2 秒、成本 < $0.01/query
• 能防 5 类 Prompt Injection

---

推荐资源

资源	类型	链接
RAGAS 文档	评估框架	https://docs.ragas.io
LangChain RAG 教程	实战教程	https://python.langchain.com/docs/use_cases/question_answering
LlamaIndex RAG 文档	框架	https://docs.llamaindex.ai
Pinecone Learning Center	教程	https://www.pinecone.io/learn
Microsoft GraphRAG	项目	https://github.com/microsoft/graphrag
Anthropic Contextual Retrieval	论文级博客	https://www.anthropic.com/news/contextual-retrieval

---

下一步

RAG 是"开卷考试"。如果你想理解"开卷考试"的检索原理（怎么找得又快又准），看 向量检索内核解析。

如果你想升级到"自主决策的智能体"，看 AI Agent 架构师。