I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
排障、适配与前沿报告 / READING NOTES

21.6 反问面试官的问题(加分项)

解释、实现和调试能力验收

  • 团队目前推理服务的主要瓶颈是 TTFT 还是 TPOT?有没有用 PD 分离?
  • 线上主要用哪套框架(vLLM / SGLang / TensorRT-LLM)?自研 Kernel 的比重有多大?
  • 模型侧有没有考虑 MLA / MoE 这类结构优化,还是以量化为主?
  • 有没有多卡 / 多机部署,通信是不是瓶颈?
  • 对精度(PPL / 任务指标)有没有明确的验收标准?