11.1 核心原理：Draft + Verify 与 Rejection Sampling

普通 Decode（串行）:
  Forward → t1 → Forward → t2 → Forward → t3 → ...   （N 次 Forward 出 N 个 Token）

投机解码:
  Draft 快速生成 t1,t2,t3,t4（低成本）
  Target 一次 Forward 并行验证这 4 个候选
  → 接受前 k 个（如接受 t1,t2），拒绝后续
  → 接受 t1,t2，再产生一个修正 Token；本轮共输出 3 个 Token

p₁ = Target(. | ctx)                  # 检查 d₁
p₂ = Target(. | ctx,d₁)               # 检查 d₂
…
pγ = Target(. | ctx,d₁,…,dγ-1)        # 检查 dγ
pγ+1 = Target(. | ctx,d₁,…,dγ)        # 全接受后的 bonus token

a_i(d_i) = min(1, p_i(d_i)/q_i(d_i))
拒绝后：r_i(v) = max(p_i(v)−q_i(v),0) / Σ_u max(p_i(u)−q_i(u),0)

# 接口返回的是归一化后的实际采样分布。
# ctx 表示逻辑 token 序列；KV 写入 / 回滚在 11.4.7 单独说明。
draft, q_list = [], []
for i in range(gamma):
    q_i = draft_distribution(ctx + draft)  # Draft 依赖此前提议的 token
    d_i = sample(q_i)
    draft.append(d_i)
    q_list.append(q_i)

# 正确对齐候选前缀的 γ+1 个分布，包括首位置和 bonus 位置。
p_list = target_verify_distributions(ctx, draft)
accepted = 0
for i, d_i in enumerate(draft):
    p_i, q_i = p_list[i], q_list[i]
    # d_i 来自 q_i，所以理论上 q_i[d_i]>0；数值实现须保留该性质。
    accept_prob = min(1.0, float(p_i[d_i] / q_i[d_i]))
    if uniform_0_1() < accept_prob:
        accepted += 1
    else:
        residual = (p_i - q_i).clamp_min(0)
        # 精确算术下，发生拒绝意味着 residual.sum()>0。
        # 生产实现还需处理浮点舍入导致的数值边界。
        next_token = sample(residual / residual.sum())
        break
else:
    # 全接受：从最后一个候选之后的 Target 分布生成额外 token。
    next_token = sample(p_list[gamma])

emitted = draft[:accepted] + [next_token]
# EOS / stop / max_new_tokens 可让这一轮提前终止，不能强行输出 bonus。

q(v) × min(1,p(v)/q(v)) = min(p(v),q(v))
拒绝总概率 R = 1 − Σ_v min(p(v),q(v)) = Σ_v max(p(v)−q(v),0)
拒绝后给 v 的质量 R×r(v) = max(p(v)−q(v),0)
最终质量 = min(p(v),q(v)) + max(p(v)−q(v),0) = p(v)