生产服务与端侧 / READING NOTES

14.5 采样语义与产品工作量

结构化输出、工具调用、LoRA、多模态与采样

约 1 分钟阅读·持续更新

参数 / 模式	含义	工程代价与限制
Temperature	调整 logits 分布尖锐度；零温通常使用贪心路径	不能直接解释成“随机率”
Top-k / Top-p	截断候选集合 / 概率质量后重新归一化	改变实际采样分布；验收与 logprob 口径须一致
Logprobs	返回指定 token 的概率信息	增加计算 / 回传；注意截断前后的定义
`n`	同请求产生多个候选序列	多条输出路径、KV 与调度，不能按单序列估算
Beam Search	维护并评分多条搜索路径	不等于 n 次独立采样；支持入口与版本需核对
Stop / 长度限制	根据 token / 字符串 / 预算停止	影响实际输出数、完成原因与指标分母

固定 seed 仍需控制 batch、算术和版本才能讨论复现；不同浮点路径可以改变接近 tie 的选择。明确最终生效采样配置，避免模型自带 generation config 与请求默认值冲突。vLLM SamplingParams

产品验收以完整请求为单位：格式失败率、工具往返、媒体输入与 n 路输出都属于工作量。进入第 16 章前，先形成可复现的“业务请求类别 → token / 媒体 / Adapter 资源 → SLO”表。