<![CDATA[SGlang开启hicache L2/L3 kv缓存]]>SGlang开启hicache L2/L3 kv缓存

1. 开启hicache有什么用？

显存里的 KV Cache 放不下，就把暂时不用的 KV Cache“搬到内存/磁盘”，需要时再取回来，从而让超长上下文、多个会话能够复用之前算过的 KV，而不必重新 Prefill。

你可以把它理解成 “显存 → 内存 → 磁盘”的 KV Cache 多级缓存。

L1 -> VRAM
L2 -> RAM
L3 -> NVME

2.如何开启

  • 开启RAM缓存
    --enable-hierarchical-cache --hicache-size 32

  • 开启NVME缓存
    --hicache-storage-backend file

3. 测试

  • 缓存启用成功
    a8db1775-24af-4a5e-aa2a-191b1247dfd9-image.jpeg

  • 重启sglang，开启对话，之前会话的190K上下文直接加载，不用prefill
    5e514dd6-f375-4d6b-81a6-ea1b2ec67a68-image.jpeg

]]>https://lcz.me/topic/1325RSS for NodeMon, 07 Sep 2026 19:27:10 GMTTue, 25 Aug 2026 18:17:57 GMT60<![CDATA[Reply to SGlang开启hicache L2/L3 kv缓存 on Tue, 25 Aug 2026 23:17:45 GMT]]>很好的分享，这就是我目前的掣肘。
如果多会话不用担心重新prefill，sglang的实用度会进一步上升

]]>https://lcz.me/post/13971https://lcz.me/post/13971Tue, 25 Aug 2026 23:17:45 GMT<![CDATA[Reply to SGlang开启hicache L2/L3 kv缓存 on Tue, 25 Aug 2026 22:41:41 GMT]]>@neo 这样就不用折腾换Q4模型了，SGLang还是用FP8更稳。

]]>https://lcz.me/post/13968https://lcz.me/post/13968Tue, 25 Aug 2026 22:41:41 GMT<![CDATA[Reply to SGlang开启hicache L2/L3 kv缓存 on Tue, 25 Aug 2026 21:47:58 GMT]]>@terry 可以这么理解，多会话，多并发更顺畅了，prefill减少，效率变高，会话切换不用等。

]]>https://lcz.me/post/13963https://lcz.me/post/13963Tue, 25 Aug 2026 21:47:58 GMT<![CDATA[Reply to SGlang开启hicache L2/L3 kv缓存 on Tue, 25 Aug 2026 19:50:04 GMT]]>非常好的分享，那是意味着可以开更多会话吗？

]]>https://lcz.me/post/13954https://lcz.me/post/13954Tue, 25 Aug 2026 19:50:04 GMT