I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
生产服务与端侧 / READING NOTES

15.5 回归门禁:混合负载、质量与异常路径

指标、Benchmark、Nsight 与性能回归门禁

至少覆盖长 Prefill + 短 Decode、长输出、共享前缀与无共享、突发流量和稳态负载。到达率从低负载逐步扫到 SLO 拐点,观察 waiting queue 是否持续增长;不要只在 request-rate=inf 下报告峰值 token/s。

每个方案先独立变更,再组合:Baseline、Prefix、Chunking、量化、投机、并行 / PD。性能报告包括质量预算、错误率、Goodput、P50/P95/P99 TTFT / TBT、权重 / KV / workspace 峰值与成本;GPU busy 高不自动说明 SLO 好。

回归门槛由业务约定,例如“P95 TPOT 相对基线退化超过 5%,且重复测量确认超出噪声”只是一个可选规则。硬件、流量、温度 / 频率、版本和冷 / 热状态固定后再比较;先查变化是否落在采样误差内,再用 git bisect 和时间线定位。MLPerf 等基准有自己的 workload 和合规规则,不能把自定义随机请求结果称为合规成绩。MLPerf Inference