LLM 工程师基础：从 API 到第一个生产级应用

这门课是为 2026 年的 AI 工程师设计的最短入门路径。

我假设你已经会 Python、基本的 HTTP、基础的命令行。不需要 Transformer 理论、不需要 微调、不需要 GPU。

我们的目标：6 周后，你能用 LLM API 独立搭建一个可上线的 AI 应用。

为什么是这门课，而不是别的？

2026 年的 AI 工程师就业市场已经高度分化：

• 应用层（最大缺口）：用 LLM API + Prompt + RAG + Agent 搭应用。这门课聚焦于此。
• 模型层（少量稀缺岗位）：训练、微调、研究。门槛极高，不在本科阶段。
• 基础设施层（极稀缺岗位）：推理优化、分布式训练。和应用工程师是两条路。

90% 的"AI 工程师"岗位招聘的是应用层。这门课就是为这个方向服务的。

这门课的独特之处

vs 其他 LLM 入门课	我们的做法
教你调 API 就完了	教你怎么让 API 调用稳定、可观测、可上线
全用 OpenAI 例子	覆盖 OpenAI / Anthropic / DeepSeek / 智谱 GLM / Ollama 五大生态
假设一切正常	大量篇幅讲异常处理、重试、降级、成本控制
教你写 Jupyter Notebook	教你写生产级 Python 代码，可直接部署

课程前置知识

• ✅ Python 基础（列表、字典、函数、类）
• ✅ 命令行基础（cd、ls、pip）
• ✅ HTTP 基础（GET / POST / status code）
• ❌ 不需要深度学习理论
• ❌ 不需要 GPU
• ❌ 不需要 Transformer 数学推导

如果以上任何一项你不确定，建议先花 1-2 天补齐 Python 基础再回来。

---

📚 完整章节大纲（18 章）

模块一：环境与心智模型（第 1-3 章）

第 1 章：LLM 是怎么工作的（心智模型篇）

本章目标：建立对 LLM 的"工程化心智模型"——不背公式，但能在写代码时知道自己在做什么。

• LLM 不是黑盒——它就是一个超大型的条件概率预测器
• Token、Context、Prompt、Completion：四个核心概念
• 为什么 LLM 会"胡说"——理解幻觉的根源
• 为什么温度（temperature）参数重要——控制"随机性"
• 为什么 LLM 推理这么贵——理解成本结构
• 工程视角的 LLM 选型：闭源 vs 开源、为什么 2026 年大家都用 Claude / GPT-5 系列 / DeepSeek

练习：用三个不同 API 问同一个问题，对比回答质量与成本。

第 2 章：你的第一个 LLM 应用（5 分钟跑起来）

• 安装 openai / anthropic / requests
• 第一个 Hello World：调用 GPT-5 mini 档
• 关键点：怎么读 API 文档、怎么找模型 ID、怎么控制 token 上限
• 第一个"产品级"调用：流式响应 + 用户取消
• 第一个错误处理：401 / 429 / 500 / 网络超时

练习：写一个 20 行的命令行聊天工具，支持 OpenAI 和 Anthropic。

第 3 章：Prompt 基础（最小可用的 Prompt 写法）

• Prompt 的四个基本元素：角色、上下文、指令、输出格式
• 第一个模式：Zero-shot vs Few-shot
• 第二个模式：System Prompt vs User Prompt
• 第三个模式：Output Format（强制 JSON / Markdown）
• 避坑指南：Prompt 不是越长越好——3 个常见误区

练习：用 3 种 Prompt 写法完成同一个任务，对比质量。

模块二：API 进阶（第 4-7 章）

第 4 章：多模型协作（OpenAI / Anthropic / DeepSeek / 国产模型）

• 五大模型生态对比表
• 怎么用 LiteLLM 一套代码调用所有模型
• 怎么用国产模型（DeepSeek、智谱 GLM-4、通义千问、月之暗面 Kimi）
• 选型决策树：什么场景选什么模型

练习：用 LiteLLM 实现一个模型路由器，根据任务自动选模型。

第 5 章：流式响应（让用户体验提升 10 倍）

• 什么是 SSE（Server-Sent Events）
• OpenAI / Anthropic 流式 API 实战
• 前端集成：EventSource / fetch + ReadableStream
• 坑点：流式断连、超时处理、buffer 累积

练习：写一个带流式响应的 FastAPI 服务。

第 6 章：Function Calling（让 LLM 调用工具）

• Function Calling 的本质：让 LLM 输出结构化 JSON
• 三步走：定义工具 → LLM 选择 → 执行 + 回传
• 关键设计：怎么定义工具描述、怎么处理多工具、怎么处理 LLM 的"幻觉调用"
• 生产经验：Function Calling 的 5 个常见坑

练习：让 LLM 帮你操作文件系统（读、写、搜索），自动完成任务。

第 7 章：结构化输出（让 LLM 100% 给你 JSON）

• 为什么 JSON Mode 不够用——LangChain 的解法
• Instructor 库：用 Pydantic 约束 LLM 输出
• Outlines / Guidance：用语法约束 LLM 输出
• 实战：让 LLM 输出 SQL、Python 代码、YAML 配置

练习：用 Instructor 让 LLM 输出符合 Pydantic Schema 的用户画像。

模块三：可靠性与成本（第 8-11 章）

第 8 章：错误处理与重试（生产级必修）

• LLM API 的 12 类错误
• 重试策略：指数退避、抖动、熔断
• 降级方案：主模型挂了怎么办
• 超时设置：为什么 30 秒是默认

练习：实现一个生产级 LLM 客户端（含重试、降级、超时、限流）。

第 9 章：Token 与成本（如何把账单砍一半）

• Token 计费的 3 个真相
• Context Window 与成本的数学关系
• 5 个 token 优化技巧
• 怎么估算月度账单：从原型到生产的成本测算

练习：计算你下一个项目的 LLM 成本。

第 10 章：缓存（同样的问题不要问两次）

• 精确缓存：Redis 存 prompt-response
• 语义缓存：相似问题命中已有答案
• Anthropic Prompt Caching：节省 90% 成本
• OpenAI 自动缓存：50% 折扣

练习：实现一个语义缓存层，把重复问题成本降到 0。

第 11 章：可观测性（出了问题能查到）

• 必备的 5 个指标：成功率、延迟、token、成本、错误类型
• LangSmith / LangFuse / Helicone：三大可观测平台
• 自己写：用 OpenTelemetry 追踪 LLM 调用
• 生产案例：怎么用日志 debug 一个 LLM 应用

练习：给上一章的 LLM 客户端加上完整可观测性。

模块四：第一个生产应用（第 12-15 章）

第 12 章：项目：AI 翻译助手（端到端实战）

• 需求分析：怎么把"翻译"做成产品
• 架构：前端 + 后端 + LLM
• 关键设计：术语库、上下文保持、风格控制
• 上线：Vercel + Railway 一键部署

项目交付：一个可上线的 AI 翻译网站。

第 13 章：项目：文档问答 Bot（RAG 入门）

• RAG 是什么、为什么需要它
• 用 LangChain 搭一个最小 RAG
• 上传 PDF → 切片 → 嵌入 → 检索 → 生成
• 评估：怎么知道你的 RAG 是好的

项目交付：上传任意 PDF，AI 帮你回答里面的问题。

第 14 章：项目：AI 编程助手（Function Calling 实战）

• 用 Function Calling 让 LLM 操作本地文件
• 集成终端命令
• 安全设计：怎么防止 LLM 执行危险命令
• 完整 IDE 风格：右侧代码、左侧对话

项目交付：本地命令行 AI 编程助手。

第 15 章：项目：周报生成器（结构化输出实战）

• 需求：用户输入一周工作要点，生成结构化周报
• 核心：用 Instructor 强制 JSON 输出
• 集成 Notion / 飞书 API
• 周报模板自定义

项目交付：每周节省 2 小时的周报工具。

模块五：高级主题（第 16-18 章）

第 16 章：安全与对齐（生产必修）

• Prompt Injection 是什么、5 类攻击手法
• 内容审核 API
• Guardrails：输入输出双校验
• 红线：什么数据绝不能传给 LLM

练习：给 RAG 系统加上完整的 Prompt Injection 防护。

第 17 章：性能优化（QPS 100 → 10000）

• 同步 vs 异步：为什么异步调用是必须的
• 批处理：把 10 个请求合并成 1 个
• 流式 + 预生成：用户体验的关键
• 缓存矩阵：4 层缓存策略

练习：把 AI 翻译助手的 QPS 从 10 提升到 1000。

第 18 章：总结：你的下一个项目（从 0 到 1 的方法论）

• 6 周后你能做什么、不能做什么
• 接下来学什么：Prompt 工程精通、RAG 系统设计、AI Agent 架构师
• 3 个推荐的开源项目：LangChain、LlamaIndex、Dify
• 求职建议：怎么用这门课的项目去面试

---

✅ 检查清单

完成后回来勾选：

• 能独立调用至少 3 家 LLM API（OpenAI、Anthropic、国产）
• 能写一个生产级 LLM 客户端（含重试、降级、缓存、可观测性）
• 能用 Function Calling 让 LLM 调用至少 5 个工具
• 完成至少 3 个端到端项目（翻译 / 问答 / 编程助手 / 周报）
• 能估算任意 LLM 应用的月度成本
• 能用语义缓存降低至少 50% 成本
• 理解了 Prompt Injection 攻击和防护

---

推荐资源

资源	类型	链接
OpenAI Cookbook	官方示例	https://cookbook.openai.com
Anthropic Prompt Engineering	官方教程	https://docs.anthropic.com/claude/docs/prompt-engineering
LiteLLM 文档	多模型库	https://docs.litellm.ai
LangChain	应用框架	https://python.langchain.com
Instructor	结构化输出	https://python.useinstructor.com
LangFuse	可观测性	https://langfuse.com

---

下一步

读完这门课，你已经能搭出可上线的 LLM 应用。但"能用"和"用得好"是两回事。

下一门课 Prompt 工程精通 会教你怎么让 LLM 的回答质量再提升 30-50%——CoT、ReAct、ToT、Self-Critique 这些高级技巧。

如果你在第 12 章的项目里卡住了，先看 AI 工程师成长路线图 重新评估基础。 如果你有任何问题，在项目 issue 区贴出你的代码，我会尽量帮你看。