多模态应用工程：从视觉理解到视频生成

2026 年的 LLM 不只是文本模型——多模态是主战场。

GPT-5 系列 能看、能听、能说；Sora 能生成视频；Diffusion 模型能画图。

这门课教你用多模态能力构建真正有想象力的应用。

为什么多模态是 2026 年的核心

回顾 LLM 演进：

• 2022：GPT-3.5 / BERT —— 文本
• 2023：GPT-4 —— 多模态初步
• 2024：GPT-4o（2026-02 已退役） —— 原生多模态
• 2025-2026：全模态（文本 + 图像 + 音频 + 视频）

关键转变：多模态从"加个图像识别 API"升级为"原生统一架构"。

应用场景爆发：

• 看图说话：图像问答、OCR 升级
• 图生图：图像编辑、风格转换
• 文生图：海报设计、产品图
• 文生视频：广告、电影、教育
• 语音对话：实时语音助手
• Video-LLM：视频理解、视频问答

课程前置知识

• ✅ LLM 工程师基础
• ✅ Python 中级
• ❌ 不需要深度学习理论（我们用现成的多模态 API）

---

📚 完整章节大纲（14 章）

模块一：视觉理解（第 1-4 章）

第 1 章：多模态心智模型——什么是"模态"

• 模态（Modality）= 信息的形式（文本、图像、音频、视频）
• 统一表征：CLIP / ImageBind
• 多模态对齐：怎么让文本和图像在同一空间
• 生产经验：2026 年的多模态是"原生融合"，不是"后期拼接"

第 2 章：视觉理解：让模型看懂图

• GPT-5 系列 怎么"看"图
• OCR 升级：直接读图中的文字
• 视觉问答：让 GPT-5 系列 看图回答问题
• 实战：用 GPT-5 系列 做产品图自动审核

练习：用 GPT-5 系列 分析 100 张产品图。

第 3 章：Claude / Gemini 视觉对比

• Claude Sonnet（当前版本） 视觉能力
• Gemini（当前版本） 长视频理解
• 选型决策树：什么场景用什么
• 生产经验：视觉模型对比测试

第 4 章：视觉应用模式

• 图像问答：看图回答
• 图像描述：看图写标题 / 长描述
• 视觉推理：数学题看图解题
• 实战：做一个"拍照答疑"应用

模块二：图像生成（第 5-7 章）

第 5 章：文生图原理——Diffusion 与 Transformer

• DDPM → Stable Diffusion → FLUX → DiT
• 统一架构：图像生成进入 Transformer 时代
• 生产经验：FLUX vs Stable Diffusion 选型

第 6 章：Stable Diffusion / FLUX 实战

• ComfyUI / A1111 本地部署
• Prompt 工程：怎么写好的文生图 Prompt
• ControlNet：用线稿 / 深度图控制
• 实战：做一个产品海报生成器

第 7 章：图像编辑

• Inpainting：局部重绘
• Outpainting：扩展画面
• 图像变体：生成相似图
• 实战：做一个"老照片修复"应用

模块三：音频与视频（第 8-11 章）

第 8 章：语音合成（TTS）——让 AI 说话

• OpenAI TTS / ElevenLabs / 国产 TTS
• 实时语音：OpenAI Realtime API
• 克隆声音：5 秒克隆一个人
• 实战：做一个"AI 播客生成器"

第 9 章：语音识别（ASR）——让 AI 听

• Whisper / 国产 ASR（阿里、字节、腾讯）
• 实时语音转写：流式 ASR
• 实战：做一个"会议录音自动转写"应用

第 10 章：文生视频——Sora / 可灵 / Veo

• 文生视频原理：3D Diffusion + Transformer
• Sora / 可灵 / Runway / Veo：四大平台
• 实战：做一个"广告视频自动生成"
• 生产经验：文生视频的成本与时长

第 11 章：视频理解——Video-LLM

• Video-LLM 架构：Video Encoder + LLM
• GPT-5 系列 / Gemini（当前版本） / Claude（当前版本）：长视频理解
• 实战：做一个"视频自动摘要"应用
• 生产经验：怎么把视频分段处理

模块四：综合应用（第 12-14 章）

第 12 章：Video-LLM 项目——视频内容理解

• 让 LLM 理解 1 小时视频
• 实战：视频问答、视频摘要、视频标签
• 挑战：长视频的 context 管理

第 13 章：多模态 Agent——能看能听的 Agent

• 多模态 Agent 架构
• 实战：让 Agent 看图、操作 GUI、调 API
• 生产经验：Computer Use Agent（OpenAI Operator / Claude Computer Use）

第 14 章：总结：多模态路线图

• 14 章回顾：从视觉理解到多模态 Agent
• 多模态成熟度模型
• 接下来学什么：AI Agent 架构师、LLM 推理优化
• 求职 / 创业：怎么用多模态项目展示能力

---

✅ 检查清单

完成后回来勾选：

• 能用 GPT-5 系列 / Claude 做视觉问答
• 能用 FLUX / Stable Diffusion 做文生图
• 能用 TTS + ASR 做语音应用
• 能用 Sora / 可灵 做文生视频
• 能用 Video-LLM 做视频理解
• 完成至少 3 个端到端多模态项目

---

推荐资源

资源	类型	链接
OpenAI Vision	API	https://platform.openai.com/docs/guides/vision
Anthropic Vision	API	https://docs.anthropic.com/claude/docs/vision
FLUX	模型	https://blackforestlabs.ai
ComfyUI	工具	https://github.com/comfyanonymous/ComfyUI
ElevenLabs	TTS	https://elevenlabs.io
Suno AI	音乐	https://suno.com
OpenAI Sora	视频	https://openai.com/sora

---

下一步

多模态是 LLM 应用的延伸。如果你：

• 想做 Agent → AI Agent 架构师
• 想优化推理 → LLM 推理优化与部署
• 想做内容生成平台 → RAG 系统设计与实现