附录 A · 术语表 · Infra Notes

按首次出现顺序排列，标注「缩写 · 英文全称 · 中文名」。

缩写	英文全称	中文名
LLM	Large Language Model	大语言模型
Token	—	词元（最小文本单位）
TTFT	Time To First Token	首 Token 延迟
TPOT	Time Per Output Token	每输出 Token 耗时
TBT	Time Between Tokens	Token 间隔
E2E	End-to-End	端到端
MFU	Model FLOPs Utilization	模型算力利用率
MBU	Memory Bandwidth Utilization	显存带宽利用率
Goodput	—	有效吞吐量
SLO	Service Level Objective	服务等级目标
FLOPs	Floating-point Operations	浮点运算次数
PPL	Perplexity	困惑度
EOS	End Of Sequence	序列结束符

缩写	英文全称	中文名
Prefill	—	预填充阶段
Decode	—	解码阶段
KV Cache	Key-Value Cache	键值缓存
Attention	—	注意力机制
MHA	Multi-Head Attention	多头注意力
MQA	Multi-Query Attention	多查询注意力
GQA	Grouped-Query Attention	分组查询注意力
MLA	Multi-head Latent Attention	多头潜在注意力
RoPE	Rotary Position Embedding	旋转位置编码
FFN	Feed-Forward Network	前馈网络
MLP	Multi-Layer Perceptron	多层感知机
RMSNorm	Root Mean Square Layer Normalization	均方根层归一化
SiLU	Sigmoid Linear Unit	SiLU（Swish）激活函数
LM Head	Language Model Head	语言模型输出头
MoE	Mixture of Experts	混合专家
MTP	Multi-Token Prediction	多 Token 预测
AR	Autoregressive	自回归
Causal Mask	—	因果掩码
latent	—	潜在向量
hidden state	—	隐藏状态

缩写	英文全称	中文名
FP32 / FP16 / BF16	32 / 16-bit Floating Point (BFloat16)	单精度 / 半精度 / 脑浮点 16
FP8	8-bit Floating Point	8 位浮点数
TF32	TensorFloat-32	张量浮点 32
INT8 / INT4	8 / 4-bit Integer	8 位 / 4 位整型
PTQ	Post-Training Quantization	训练后量化
QAT	Quantization-Aware Training	量化感知训练
W8A8	Weight 8-bit / Activation 8-bit	权重与激活均 8 位
AWQ	Activation-aware Weight Quantization	激活感知权重量化
GPTQ	Generative Pre-trained Transformer Quantization	GPT 类模型量化算法
NF4	4-bit NormalFloat	4 位正态浮点

缩写	英文全称	中文名
HBM	High Bandwidth Memory	高带宽显存
SRAM	Static Random Access Memory	静态随机存储器（片上共享内存）
SM	Streaming Multiprocessor	流多处理器
GEMM	General Matrix Multiply	通用矩阵乘法
GEMV	General Matrix-Vector multiply	通用矩阵向量乘
IO	Input/Output	输入/输出（此处指显存读写）
TMA	Tensor Memory Accelerator	张量内存加速器
WGMMA	Warpgroup Matrix Multiply-Accumulate	线程组级矩阵乘累加指令
ALU	Arithmetic Logic Unit	算术逻辑单元
Warp	—	线程束（32 线程）
Bank	—	存储体
Bank Conflict	—	存储体冲突
Padding	—	填充
Swizzle	—	地址重排
Tensor Core	—	张量核心
SDPA	Scaled Dot-Product Attention	缩放点积注意力算子
Tiling	—	分块
Online Softmax	—	在线 Softmax
Recomputation	—	重计算

缩写	英文全称	中文名
CUDA Graph	—	CUDA 执行图
Capture / Replay	—	捕获 / 重放
Kernel Launch	—	核函数启动
Graph Break	—	图中断
FX Graph	Functional eXchange Graph	PyTorch 图中间表示
AOTAutograd	Ahead-Of-Time Autograd	提前自动微分
DMA	Direct Memory Access	直接内存访问
H2D	Host to Device	主机到设备
Pinned Memory	—	锁页内存
Continuous Batching	—	连续批处理
Chunked Prefill	—	分块预填充
Prefix Cache	—	前缀缓存
RadixAttention	Radix Attention	基数树注意力
Radix Tree	—	基数树
LRU	Least Recently Used	最近最少使用
Block / Block Table	—	块 / 块表
Copy-on-Write	—	写时复制
Preemption	—	抢占
Admission	—	准入
Victim	—	牺牲者
Offload / Swap	—	卸载 / 换出
Head-of-Line Blocking	—	队首阻塞
PD 分离	Prefill-Decode Disaggregation	预填充-解码分离

缩写	英文全称	中文名
DP	Data Parallel	数据并行
TP	Tensor Parallel	张量并行
PP	Pipeline Parallel	流水线并行
EP	Expert Parallel	专家并行
SP	Sequence Parallel	序列并行
All-Reduce	—	全归约
All-to-All	—	全交换
All-Gather	—	全收集
Reduce-Scatter	—	归约散射
P2P	Point-to-Point	点对点
Pipeline Bubble	—	流水线气泡
Micro-batch	—	微批次
NVLink	—	NVIDIA GPU 间高速互联
PCIe	Peripheral Component Interconnect Express	外设互联总线
RDMA	Remote Direct Memory Access	远程直接内存访问
NVMe	Non-Volatile Memory express	非易失性内存标准

缩写	英文全称	中文名
Speculative Decoding	—	投机解码
Draft Model	—	草稿模型
Target Model	—	目标模型
Acceptance Rate	—	接受率
modified rejection sampling	—	改进拒绝采样
Medusa	—	美杜莎（多头预测）
EAGLE	Extrapolation Algorithm for Greater Language-model Efficiency	EAGLE 投机解码
N-gram	—	N 元组
Tree Attention	—	树形注意力
GGUF	GPT-Generated Unified Format	单文件量化模型格式
RAG	Retrieval-Augmented Generation	检索增强生成
In-flight Batching	—	飞行中批处理