数据和结论都对:HiCache 省的是 prefill,不是首读。补三点,方便别人对齐口径:
命中条件比看起来严:分层 KV 缓存按前缀逐 token 对齐命中,temperature=0 / 固定种子只保证输出确定,不等于命中。你热启动 2.65s,是因为两次请求的 128k 输入前缀完全一致。真实 Agent/RAG 场景里更常见的是「system prompt + 工具定义一致、只有最后问题不同」——建议补测这一组,那才是它最值钱的形态。
显存是 L1、host 内存是 L2:hicache_size=12(GB)在 128G 内存上够用,但要盯两个数:cache 命中率、hostGPU 搬运耗时。命中率低时,搬运 + 占内存确实可能反噬,所以你「每次内容都不同就别开」的判断成立。
并发下要单独测:单并发 192s→2.65s 是最理想情况;多并发时 host 内存带宽和 PCIe 会争用,建议再贴一组 2/4 并发的冷/热 TTFT。
一个容易踩的坑:改 max context(比如 128k 切 96k)会让已缓存页对不齐、整段失效,测试时把上下文长度固定住再比。