AI 术语词典

Token

模型处理的最小单位。中文约 1.5 字 = 1 token，英文约 0.75 词 = 1 token。

Context Window

上下文窗口。模型一次能处理的最大 token 数。

Tokenizer

分词器。将文本切分为模型能理解的 token 序列。

Hallucination

幻觉。模型编造事实的现象，可通过 RAG、CoT 等缓解。

LLM (Large Language Model)

大语言模型。在大规模文本上预训练的 Transformer 语言模型，如 GPT、Claude、LLaMA。

Transformer

一种基于 Self-Attention 的神经网络架构，是当前所有主流大模型的基础。

Self-Attention

自注意力机制，通过 Q/K/V 计算序列中任意两个位置的相关性。

Diffusion

扩散模型。通过学习去噪过程生成图像，当前主流图像生成范式。

GAN

生成对抗网络。两个网络对抗训练，曾是图像生成主流。

CNN

卷积神经网络。图像任务主力，特征是局部连接与权重共享。

RNN / LSTM

循环神经网络 / 长短期记忆网络。处理序列数据，渐被 Transformer 取代。

Pre-training

预训练。在大规模无标注数据上训练模型，使其学到通用表示。

Fine-tuning

微调。在预训练模型上用领域数据继续训练，使其适配特定任务。

RLHF

基于人类反馈的强化学习。通过人类偏好训练奖励模型，再用 PPO 优化 LLM。

LoRA

Low-Rank Adaptation。低秩适配，用少量参数微调大模型。

KV Cache

键值缓存。推理时缓存已计算的 Key/Value，避免重复计算。

Quantization

量化。将模型参数从 fp16/bf16 转 int8/int4，减小体积与加速推理。

vLLM

高吞吐 LLM 推理引擎，通过 PagedAttention 提升吞吐量。

Temperature

采样温度。控制生成随机性，0 表示贪心，越大越发散。

Top-p

Nucleus sampling。从累积概率达到 p 的最小 token 集合中采样。

Prompt

提示词。输入给 LLM 的文本指令，好的 Prompt 能显著提升输出质量。

Few-shot

在 Prompt 中给出少量示例，让模型按示例模式生成。

CoT (Chain of Thought)

思维链。引导模型一步步推理，显著提升复杂任务表现。

RAG

Retrieval-Augmented Generation。检索增强生成，先检索再生成，降低幻觉。

Embedding

把文本/图像等映射为稠密向量，使语义可计算相似度。

Vector Database

向量数据库。高效存储与检索向量的专用数据库，如 Qdrant、Milvus。

Agent

智能体。LLM + 工具 + 规划能力，能自主完成多步骤任务。

Function Calling

模型按预定义 schema 返回结构化参数，由外部代码执行。

MCP

Model Context Protocol。Anthropic 提出的模型-工具标准化协议。