SGlang开启hicache L2/L3 kv缓存

[neo]

SGlang开启hicache L2/L3 kv缓存

---

1. 开启hicache有什么用？

显存里的 KV Cache 放不下，就把暂时不用的 KV Cache“搬到内存/磁盘”，需要时再取回来，从而让超长上下文、多个会话能够复用之前算过的 KV，而不必重新 Prefill。

你可以把它理解成 “显存 → 内存 → 磁盘”的 KV Cache 多级缓存。

L1 -> VRAM
L2 -> RAM
L3 -> NVME

2.如何开启

• 开启RAM缓存
  --enable-hierarchical-cache --hicache-size 32

• 开启NVME缓存
  --hicache-storage-backend file

3. 测试

• 缓存启用成功
  

• 重启sglang，开启对话，之前会话的190K上下文直接加载，不用prefill
  

[terry]

非常好的分享，那是意味着可以开更多会话吗？

[neo]

@terry 可以这么理解，多会话，多并发更顺畅了，prefill减少，效率变高，会话切换不用等。

[terry]

@neo 这样就不用折腾换Q4模型了，SGLang还是用FP8更稳。

[kop wang]

很好的分享，这就是我目前的掣肘。
如果多会话不用担心重新prefill，sglang的实用度会进一步上升