LLM 时代的 MLOps：从评估到监控的全栈实践

经典 MLOps 解决的是"模型从 Notebook 到生产"的问题。 LLM 时代的 MLOps 解决的是"Prompt / 模型 / 评估 / 监控的可管理化"。

这门课是 2026 年 AI 应用工程师的必修课。

为什么 LLM MLOps 是新课题

传统 MLOps：

• 跟踪模型训练（MLflow、W&B）
• 部署模型（Kubeflow、BentoML）
• 监控数据漂移、性能

LLM 时代的 MLOps 新增了三层挑战：

1. Prompt 版本管理：Prompt 改动比模型改动更频繁
2. LLM 评估：没有 ground truth，怎么评估"回答好不好"
3. Guardrails：怎么防 Prompt Injection、幻觉、有害输出

这门课就是讲这三层 + 传统 MLOps 的 LLM 化。

课程前置知识

• ✅ LLM 工程师基础
• ✅ 基础的 DevOps 概念（CI/CD、Docker）

---

📚 完整章节大纲（14 章）

模块一：评估体系（第 1-4 章）

第 1 章：LLM 评估的特殊性

• 传统 ML 评估：Accuracy / F1 / AUC
• LLM 评估：怎么评估"生成"的质量
• 3 个评估维度：准确性、风格、安全性
• 生产经验：评估是 LLM 应用的核心

第 2 章：评估指标设计

• Faithfulness：答案是否基于事实
• Relevancy：答案与问题的相关性
• Coherence：答案的逻辑性
• Harmlessness：答案的安全性

第 3 章：LLM-as-a-Judge

• 用 GPT-4 评估你的 LLM 输出
• 评估 Prompt 设计
• 偏差与应对：位置偏差、长度偏差
• 生产经验：LLM 评估不是万能的

第 4 章：评估工具链

• RAGAS：RAG 评估
• DeepEval：通用 LLM 评估
• LangSmith Evaluations：端到端评估
• 生产经验：选型决策

模块二：Prompt 与模型版本管理（第 5-7 章）

第 5 章：Prompt 版本管理

• Prompt 是"代码"——必须版本化
• Git + Prompt 文件：最简单的版本管理
• Prompt Management Platform：PromptLayer、Humanloop
• 生产经验：Prompt 改动的影响评估

第 6 章：A/B 测试 LLM

• 分流策略：按用户 ID / 流量比例
• 核心指标：用户满意度、任务完成率
• 统计显著性：怎么判断 A 真的比 B 好
• 生产经验：A/B 测试是 LLM 优化的"金标准"

第 7 章：模型路由

• 多模型路由：按场景选模型（详见 LLM 工程师基础）
• Fallback 策略：主模型挂了怎么办
• 成本优化：用便宜模型处理简单任务
• 生产经验：LiteLLM 是首选

模块三：监控与可观测性（第 8-11 章）

第 8 章：LLM 监控指标

• 7 个核心指标：成功率、延迟、token 成本、错误类型、用户反馈、Guardrail 触发、Prompt 版本分布

第 9 章：可观测性平台

• LangSmith / LangFuse / Helicone：三大平台
• 自建：用 OpenTelemetry + Prometheus
• 生产经验：选型决策树

第 10 章：日志与 Trace

• 结构化日志：JSON + 标准字段
• Trace 设计：端到端追踪
• 生产案例：用 LangSmith debug 一个 RAG 问题

第 11 章：告警设计

• 告警原则：什么时候该报警
• 分级告警：P0 / P1 / P2
• 告警疲劳：怎么避免
• 生产经验：SLO/SLI 设计

模块四：Guardrails 与安全（第 12-14 章）

第 12 章：Guardrails 基础

• 输入 Guardrails：防 Prompt Injection
• 输出 Guardrails：防幻觉 + 防有害
• 生产经验：Guardrails 不能解决所有问题，但能降低 80% 风险

第 13 章：Guardrails 工具链

• NeMo Guardrails：NVIDIA 的 Guardrails 框架
• Guardrails AI：开源验证库
• 生产经验：Guardrails 的性能开销与权衡

第 14 章：总结：LLM MLOps 路线图

• 14 章回顾：从评估到 Guardrails
• LLM MLOps 成熟度模型：5 个阶段
• 接下来学什么：AI Agent 架构师、LLM 推理优化
• 求职 / 创业：怎么用 MLOps 项目展示能力

---

✅ 检查清单

完成后回来勾选：

• 能用 LLM-as-a-Judge 评估 RAG 系统
• 能用 LangSmith / LangFuse 监控 LLM 应用
• 能用 Prompt 版本管理 + A/B 测试优化 LLM
• 能用 Guardrails 防 Prompt Injection
• 能设计完整的告警 + SLO 体系

---

推荐资源

资源	类型	链接
LangSmith 文档	平台	https://docs.smith.langchain.com
LangFuse	开源平台	https://langfuse.com
RAGAS	评估框架	https://docs.ragas.io
DeepEval	评估框架	https://docs.confident-ai.com
NeMo Guardrails	框架	https://github.com/NVIDIA/NeMo-Guardrails

---

下一步

LLM MLOps 是 LLM 应用"上线后"的关键。如果你：

• 想做 Agent 系统的 MLOps → AI Agent 架构师
• 想优化 LLM 推理成本 → LLM 推理优化与部署
• 想做多模态 → 多模态应用工程