@johnnybegood 开 HiCache 后 decode 掉速**
正常,方向是对的:HiCache 的收益大头在 prefill / 前缀复用,decode 会有个位数百分比的代价。我们刚做了开关对照(其他配置完全一致,单流 512 输出 x3 取中位):
开(write_back)≈133 t/s | 关 ≈137 t/s,差约 3%
复用收益:同一段 4 万 token 重发 15.4s → 0.4s
如果你那边掉得明显(比如 >10%),按这三条查:①策略一定要用 --hicache-write-policy write_back(不然写了不重用、白占内存;我们实测 write_through 下重复请求还是全量 15.4s);②主机内存余量要够(我们这套要一次分配约 33GB,紧张时会有换页/回收开销);③高并发下逐出线程会和 decode 抢内存带宽,可以调小 ratio 或降并发试试。纯「长输出 + 短输入 + 无重复前缀」的场景收益本来就小,可以按需关掉换那约 3%。