0.5 核心指标词典
一条请求的时间、字节与状态账本
面试官经常会用这些缩写，听不懂会直接扣分。
| 指标 | 全称 | 含义 | 关注方 |
|---|---|---|---|
| TTFT | Time To First Token（首 Token 延迟） | 从发出请求到收到第一个 Token 的耗时，包含排队、预处理、Prefill 与响应传输 | 用户体感（首字延迟） |
| TPOT | Time Per Output Token（每输出 Token 耗时） | 平均每个输出 Token 的耗时，主要由 Decode 决定 | 流式体验流畅度 |
| TBT | Time Between Tokens（Token 间隔） | 相邻 Token 之间的时间间隔及其抖动，Chunked Prefill 主要优化它 | 流式体验稳定性 |
| Latency | End-to-End Latency（端到端延迟） | TTFT + TPOT ×（输出 Token 数 − 1）；N ≥ 2 | 单请求 |
| Throughput | 吞吐量 | 单位时间处理的 Token 数 / 请求数 | 服务成本 |
| Goodput | 有效吞吐量 | 只统计满足 SLO 的请求吞吐，比 Throughput 更真实 | 线上服务 |
| MFU | Model FLOPs Utilization（模型算力利用率） | 实际算力 / 峰值算力，衡量计算效率 | 训练 / 长 Prefill |
| MBU | Memory Bandwidth Utilization（显存带宽利用率） | 实际带宽 / 峰值带宽，衡量访存效率 | Decode |
术语解释：
- Token（词元）：模型处理的最小文本单位。文本先经 Tokenizer（分词器） 切成 Token，映射为整数 ID 后送入模型。
- SLO（Service Level Objective，服务等级目标）：对服务质量的可量化承诺，如「P99 TTFT < 200 ms」。
关键认知：延迟与吞吐需要共同测量。增大 Batch 可提高权重复用，但超过容量或计算拐点后吞吐也可能下降，排队和每轮时间会影响单请求延迟。所以线上服务做的是「在满足 SLO 的前提下最大化吞吐」，这也是 PD 分离、调度策略存在的根本原因。