LLM 微调实战：从 LoRA 到生产部署

LLM 微调是 2026 年最稀缺、也最有价值的技能之一。

这门课不讲"理论有多美"，讲怎么用消费级 GPU 微调一个 70B 模型并部署上线。

为什么微调

为什么要在 Prompt Engineering 和 RAG 之外做微调？

• 风格定制：让模型用你公司的语气
• 能力增强：让模型掌握特定领域的知识（如医学、法律）
• 格式约束：让模型稳定输出特定格式
• 成本降低：小模型微调后能替代大模型，省 10 倍成本

但——微调不是万能的：

场景	推荐方案
私域知识问答	RAG（不要微调）
风格 / 语气定制	微调
复杂指令遵循	微调 + Prompt
推理能力	微调（蒸馏大模型）

课程前置知识

• ✅ LLM 工程师基础
• ✅ PyTorch 基础
• ✅ GPU 基础知识（显存、CUDA）

---

📚 完整章节大纲（18 章）

模块一：基础（第 1-4 章）

第 1 章：什么时候微调、什么时候不要

• 微调 vs RAG vs Prompt——决策树
• 我的判断：90% 的场景不需要微调
• 什么时候必须微调：风格定制、领域模型、能力蒸馏

第 2 章：微调的全景图——从数据到部署

• 数据准备 → 数据清洗 → 数据增强 → 训练 → 评估 → 部署
• 生产经验：80% 的时间花在数据准备

第 3 章：微调的数学直觉——为什么 LoRA 有效

• Full Fine-tuning：所有参数都更新
• LoRA：低秩分解（数学原理）
• QLoRA：4-bit 量化 + LoRA
• 显存节省对比：100 倍

第 4 章：训练硬件——消费级 GPU 也能微调 70B

• 显存计算：参数量 × 4（FP32）/ × 2（FP16）/ × 0.5（INT8）
• 4090 24GB 能微调多大模型？
• 云 GPU 选型：A100 / H100 / H200
• 生产经验：什么时候用云 GPU、什么时候用本地

模块二：数据工程（第 5-7 章）

第 5 章：数据集设计

• SFT（监督微调）数据集格式
• Alpaca / ShareGPT / OpenOrca：三种经典格式
• 数据质量 > 数据数量：1000 条高质量 > 100000 条低质量

第 6 章：数据准备流水线

• 从原始数据到训练数据的 5 个步骤
• 去重：用 MinHash 去重
• 过滤：低质量数据过滤
• 增强：用 LLM 生成更多数据

第 7 章：数据集评估

• 数据集质量评估的 5 个指标
• 训练前测试：用小数据集验证流程
• 生产经验：怎么避免"数据泄漏"

模块三：训练框架（第 8-12 章）

第 8 章：Hugging Face Transformers + PEFT

• 最主流的微调框架
• LoRA 配置：r、alpha、dropout
• 实战：用 PEFT 微调 Llama-3.1-8B

第 9 章：LoRA 实战——第一个微调

• 完整流程：数据 → 配置 → 训练 → 评估
• 训练监控：loss 曲线、过拟合
• 模型保存与加载
• 生产经验：LoRA 的 5 个坑

第 10 章：QLoRA 实战——消费级 GPU 微调 70B

• 4-bit 量化（NF4 算法）
• Paged Optimizer：处理显存峰值
• 实战：在 4090 上微调 Qwen2.5-72B

第 11 章：DPO（直接偏好优化）——RLHF 的简化版

• RLHF 的复杂流程
• DPO：用偏好数据直接优化
• DPO 数据集：chosen vs rejected
• 实战：用 DPO 让模型输出更安全

第 12 章：其他训练框架

• LLaMA-Factory：一站式训练工具
• Axolotl：配置文件驱动的训练
• Unsloth：极致显存优化（节省 50% 显存）
• 生产经验：选型决策树

模块四：评估与部署（第 13-18 章）

第 13 章：模型评估

• 通用基准：MMLU、GSM8K、HumanEval
• 领域基准：怎么设计你的领域 benchmark
• LLM-as-a-Judge：用 GPT-4 评估微调效果
• A/B 测试：线上对比

第 14 章：模型合并

• LoRA 权重合并：把 LoRA 权重合并回基础模型
• 多 LoRA 合并：把多个 LoRA 合并
• 生产经验：什么时候合并、什么时候不合并

第 15 章：模型部署——从训练到推理

• vLLM 部署：用 vLLM 部署微调模型（详见 LLM 推理优化）
• TGI 部署：HuggingFace TGI
• Ollama 部署：本地推理

第 16 章：推理性能优化

• 量化：FP16 → INT8 → INT4 → INT2
• KV Cache 优化
• Speculative Decoding：用小模型加速大模型
• 生产经验：怎么选择量化精度

第 17 章：微调项目——打造你的领域模型

• 项目 A：法律咨询助手微调
• 项目 B：代码风格定制（用公司代码库）
• 项目 C：客服对话优化（DPO）

第 18 章：总结：微调路线图

• 18 章回顾：从 LoRA 到 QLoRA
• 微调成熟度模型
• 接下来学什么：LLM 推理优化与部署、LLM 时代的 MLOps
• 求职 / 创业：怎么用微调项目展示能力

---

✅ 检查清单

完成后回来勾选：

• 能用 LoRA 微调 7B 模型
• 能用 QLoRA 在消费级 GPU 微调 70B 模型
• 能用 DPO 做偏好对齐
• 能评估微调效果
• 能部署微调后的模型到生产

---

推荐资源

资源	类型	链接
Hugging Face PEFT 文档	库	https://huggingface.co/docs/peft
LLaMA-Factory	训练框架	https://github.com/hiyouga/LLaMA-Factory
Unsloth	优化库	https://github.com/unslothai/unsloth
Axolotl	训练框架	https://github.com/OpenAccess-AI-Collective/axolotl
DPO 原论文	论文	https://arxiv.org/abs/2305.18290

---

下一步

微调后还需要部署才能用。看 LLM 推理优化与部署 学习怎么把微调后的模型变成可上线的服务。