TL;DR

• 在「混合线性注意力（GDN/SSM）+ 投机解码」的模型栈上，SGLang HiCache 用预设 write_through 时：主机池确实会被写满，但逐出后的旧前缀不会被重用——重发同一段 4 万 token 上下文，耗时跟冷启动一模一样（15.4s）。
• 改成 --hicache-write-policy write_back 后，同一探测：15.4s → 0.4s（38×），再发一次 0.1s。
• 如果你的 HiCache「开了没感觉」，先看这两个开关再下结论。

环境

现象 A：write_through（预设）——池在涨，但没有复用

开启 --enable-hierarchical-cache 后：

• 启动正常：UnifiedRadixCache hybrid_ssm=True hicache_attached=True
• 主机池确实增长：sglang:hicache_host_used_tokens 一路涨到 592,658 / 709,577
• 但做「逐出-回流」探测（见下）时：重取耗时 = 冷启动耗时（7.3s / 15.4s 一模一样），log 里零 prefetch 纪录

探测法（推荐大家用同一招验证有没有真的复用）

1. 冷跑一段 40K token 的唯一上下文 R（记 wall）
2. 灌 10 段各 40K 的唯一内容作逐出压力（> 装置池容量）
3. 重发同一段 R → 比 wall；再发一次 → 0.1s 级才算正常

实测记录：

R-cold  : 15.4s
... 10×40K 逐出 ...
R-rehost: 15.5s   ← write_through：与冷启动无异
R-again : 0.1s    ← 说明装置端机制没坏，是 host 没接手

现象 B：write_back——复用立刻生效

只加一个开关：

--enable-hierarchical-cache \
--hicache-write-policy write_back

同一探测：

R-cold  : 15.4s
... 14×40K 逐出 ...
R-rehost: 0.4s    ← 38×（从 host 回载）
R-again : 0.1s

hicache_host_used_tokens：20,221 → 453,970 → 486,725（逐出时备份的语义生效）

完整启动参数（我们现行主力）

sglang serve \
  --model-path <Qwen3.8-27B-abliterated-AWQ-MTP> \
  --trust-remote-code \
  --tp-size 2 --mem-fraction-static 0.90 \
  --kv-cache-dtype fp8_e4m3 \
  --chunked-prefill-size 4096 --max-prefill-tokens 16384 \
  --max-running-requests 3 --schedule-policy hrrn \
  --max-mamba-cache-size 15 --mamba-full-memory-ratio 0.9 \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path <DFlash2-W4A16> \
  --speculative-num-draft-tokens 8 --speculative-dflash-block-size 8 \
  --enable-hierarchical-cache --hicache-write-policy write_back

注意事项

• 内存：host 池 ≈ 11.6GB/rank（709,577 tokens）+ mamba 池 2.39GB + draft 池 3.63GB；60GB 机器两 rank 合计 ≈35GB，请留好余裕（可用 --hicache-ratio / --hicache-size 调整）
• 我们在 SGLang dev 版上测试；版本不同行为可能不同
• 我们没挖到 write_through 不复用的根因（疑似非同步备份路径语义差异），欢迎懂内部机制的指点

同场加映（同日其他实测，负结果也贴）

• GSP-RM 关闭（driver 610、proprietary）：prefill 16K/50K 与 decode 全部持平（+1.5~2% 噪声级），未重现社群 +58% 的 prefill 增益 → 已回滚。环境：SGLang+610 vs 原案例 vLLM+595，供参考。
• KV cache fp8_e4m3 vs e5m2：单流 +25~30%（12/12 样本 116–134 vs 旧 90 级）——如果你还在 e5m2，值得换。
• chunked-prefill 2048→4096 + max-prefill 8192→16384：batch prefill +4~8.5%。
• --schedule-policy hrrn：长短混排时短请求延迟 −22%（13.5s→10.5s），吞吐无损。