16.3 路由与扩缩容：缓存亲和与队列压力一起考虑

纯轮询简单，但会把重复前缀散到不同副本；只追求 Prefix 命中又可能让一个热副本排长队。路由评分可以结合队列等待估计、匹配前缀节省的 Prefill、Adapter / 模型位置、可用 KV 与设备状态。

候选副本的预计完成成本
  ≈ 预计排队 + 未命中 Prefill + 预计 Decode + 路由 / 状态迁移

缓存亲和是性能策略，模型 / Adapter / 租户隔离是正确性边界。重复请求路由到同一副本只有在其队列不抵消节省时才划算。

扩缩容不要只看 GPU busy；把 waiting、SLO 违反、请求长度与稳态 Goodput 一起考虑。新增实例有权重加载、编译和缓存冷启动时间，突发流量通常需要预留容量或 admission，不能期待扩容瞬时完成。缩容先 drain，避免流式请求被直接切断。HPA 的自定义指标和控制周期要与模型启动时间协调。Kubernetes HPA

网关同时负责业务认证、配额、请求长度、超时和取消传播；自动重试必须限制次数并保留请求标识。工具调用、Adapter 管理等管理入口与普通生成入口分别控制权限，避免误把“API 兼容”当成完整产品治理。