把闲置内存给 llama.cpp:12 份 16K 文档切换,重访首字从 24.39 秒降到 1.01 秒
-
把闲置内存给 llama.cpp:12 份 16K 文档切换,重访首字从 24.39 秒降到 1.01 秒
最近在折腾双 7900 XTX 跑本地模型。两路 27B 跑起来以后,系统内存还有不少空余,就试了一下:给 llama.cpp 多一点 RAM 会话缓存,能不能改善多文档切换的等待?
结果比较明确:在本次 12 份文档轮换场景中,RAM 缓存预算从 8GiB 调到 16GiB,最早六份文档重访的长前缀命中从 0/6 变为 6/6,平均首字等待从 24.39 秒降到 1.01 秒。
这次用的始终是现有 64GB 内存,调整的是缓存预算。首次读取仍然需要约 24 秒,持续吐字速度基本相同,改善集中在切回旧文档、复用已有上下文时。
测试环境
测试日期:2026 年 10 月 26 日。
项目 配置 系统 Ubuntu 26.04 CPU Intel ES,系统标识 Genuine Intel(R) 0000,14 核 / 20 线程 主板 铭瑄 MS-Terminator B760M D4 系统内存 64GB,4×16GB DDR4,当前配置 2666 MT/s 显卡 工作站安装两张 RX 7900 XTX 24GB;本轮容量 A/B 固定用其中的涡轮卡单实例 另一张卡 保留原 27B 实例,容量 A/B 期间空闲 推理后端 llama.cpp,Vulkan 程序版本 0.7.0-dev,build 169,commita8d9a7e1e55f5b613f297504d9e159807ec3a99b模型 Qwen3.8-27B-UD-Q4_K_S.gguf,保留mmproj-F16.gguf加载KV 量化 K / V 均为 q4_0上下文与槽位 -c 262144 --parallel 2,本机/props显示每槽 131072固定加速参数 ngram-map-k4v,draft-mtp、draft 最大 3、后端采样容量对照全部在同一张卡上完成。双卡独立实例是日常部署方式,这里的差额来自同一实例的 RAM 缓存预算调整。
主要改了什么
原来就有这些参数:
--cache-prompt --cache-reuse 256 --parallel 2 --slot-prompt-similarity 0.80当前这个构建的
--help显示,--cache-ram默认上限为 8192MiB。两路原实例都没有环境变量覆盖这个值。本轮分别显式设置:
--cache-ram 0 # 禁用 RAM 提示缓存,保留其他参数 --cache-ram 8192 # 8GiB --cache-ram 16384 # 16GiBRAM 缓存保存历史提示的上下文状态。旧文档离开 GPU 活动槽位后,如果状态仍保存在 RAM 中,后续请求可以恢复这份状态,减少重新预填的工作量。
--cache-ram的单位是 MiB,设置的是预算上限。启动时不会立刻分配满 16GiB,进程的总内存占用也还包括活动上下文、检查点等其他部分。另外,RAM 缓存预算与活动上下文长度是两项设置。把前者调大,不会自动把单请求上下文上限调大。
怎么测的
分了两类对照,分别比较。
第一类:三份文档,验证 RAM 恢复机制。
每份文档约 16K token,先依次读入 A、B、C,再按 A、B、C 的顺序重新请求。对照禁用 RAM 缓存和 8GiB 预算。
第二类:十二份文档,验证缓存容量。
每份同样约 16K token,先依次读入 12 份,再从最旧的文档开始,按顺序重访前六份。对照 8GiB 和 16GiB 预算。
文档由固定种子的合成记录构成,各文档数据不同;开头、中间、结尾各有一个独立标记,要求模型按顺序返回三个标记。每组使用相同的输入文件及 SHA256。实际输入为 16368 / 16369 token,设置最多输出 48 token,本轮长文检索回复实际均为 25 token。
请求固定
temperature=0、seed=42、cache_prompt=true、关闭思考,使用流式输出。首字时间从客户端发出请求计到收到第一段非空输出,包含 RAM 保存、恢复等等待;同时保留服务端timings和usage。每个配置独立启动一次,共四组、56 条请求,包含预热及立即重复检查。没有做多次独立启动的误差区间。每组结束恢复原服务,容量 A/B 期间另一张卡的进程保持不变。
结果一:三份文档,RAM 缓存确实有效
RAM 缓存预算 首次读取平均首字 三份旧文档重访平均首字 长前缀命中 最后一份立即重复首字 禁用 23.347 秒 23.609 秒 0/3 0.286 秒 8GiB 23.694 秒 1.018 秒 3/3 0.287 秒 这里特意保留了“立即重复”一列:即使禁用 RAM 缓存,刚访问过、还在 GPU 槽位里的文档也可以很快命中。只测连续重复同一份文档,很容易看不出 RAM 缓存的价值。
轮换三份文档后再回来,差别就明显了。8GiB 组的日志确认发生了 RAM 状态恢复,旧文档大部分 token 得以复用。
结果二:十二份文档,8GiB 与 16GiB 拉开差距
项目 8GiB 预算 16GiB 预算 首次读取平均首字 24.244 秒 24.317 秒 前六份旧文档重访平均首字 24.391 秒 1.014 秒 前六份旧文档长前缀命中 0/6 6/6 六次重访完成总时间,含输出 148.120 秒 7.859 秒 重访每请求复用 token 21 16364 / 16365 重访每请求重新计算 token 16347 / 16348 4 日志记录的缓存淘汰事件 10 0 同组原生生成速度均值 81.38 tok/s 81.27 tok/s 六份文档的重访首字分别为:
文档 8GiB 16GiB 第 1 份 24.3773 秒 1.0138 秒 第 2 份 24.4042 秒 1.0134 秒 第 3 份 24.3901 秒 1.0105 秒 第 4 份 24.3833 秒 1.0247 秒 第 5 份 24.4013 秒 1.0141 秒 第 6 份 24.3921 秒 1.0071 秒 这组重访的平均首字等待减少约 95.8%。8GiB 组仍能复用 21 个公共前缀 token,但长文档状态已经被淘汰,需要重新读取正文;16GiB 组则六次都恢复了 RAM 中的旧状态。
日志中能对应看到:
# 8GiB 组出现为新条目腾空间的淘汰记录 making room for prompt cache entry, removing oldest entry # 16GiB 组重访时找到更合适的历史状态 found better prompt with f_keep = 0.999, f_sim = 1.000第一份文档在 16GiB 组重访的原始记录节选:
{ "ttft_s": 1.0138, "usage": { "prompt_tokens": 16369, "completion_tokens": 25, "prompt_tokens_details": { "cached_tokens": 16365 } }, "timings": { "cache_n": 16365, "prompt_n": 4 } }上表的 0/6 和 6/6,仅指本次指定重访顺序下、这六份旧文档的长前缀命中;命中按复用超过输入的 90% 计,并额外核验 RAM 恢复日志。从最旧文档顺序重访会形成连续淘汰压力,日常访问顺序不同,命中率也会不同。
生成速度来自这批短检索回复,只用于观察明显回退,不作为长篇代码生成成绩。
实际用了多少内存
项目 8GiB 预算、12 文档 16GiB 预算、12 文档 引擎日志统计的 RAM 缓存峰值 7.73GiB 10.51GiB 实验进程 RSS 峰值 9.80GiB 12.51GiB 系统最低 MemAvailable 47.29GiB 44.53GiB 测量期间全机新增 swap 换出 0MiB 0MiB 所以这次的限制很直接:默认缓存上限到了,系统内存还有不少。调高预算以后,旧文档得以保留下来。
缓存峰值和 RSS 来自不同统计口径;系统可用内存还受其他进程、文件缓存等影响,不把几列数值简单相加减。表中数据也是单个实验实例的观测值,两路实例同时把缓存填满的峰值还没有测。
想自己试,怎么设置
已有服务可以先保留启动命令,只把 RAM 预算明确设为:
--cache-ram 16384下面是本轮副卡实例的参数形式,路径、端口和设备名已换为示例值。
YOUR_VULKAN_DEVICE按自己程序的--list-devices输出填写;MTP 等参数需要使用支持它们的构建。缓存 A/B 时,两组保持同一个程序和其他参数,只改最后的 RAM 预算。./llama-server \ -m /path/to/Qwen3.8-27B-UD-Q4_K_S.gguf \ --device YOUR_VULKAN_DEVICE \ --mmproj /path/to/mmproj-F16.gguf \ --spec-type ngram-map-k4v,draft-mtp \ --spec-ngram-map-k4v-size-n 12 \ --spec-draft-n-max 3 \ --spec-draft-p-min 0 \ --backend-sampling \ --host 127.0.0.1 --port 8080 \ -ngl 999 -fa 1 -c 262144 -ub 512 \ --cache-type-k q4_0 --cache-type-v q4_0 \ --reasoning off \ --cont-batching --cache-prompt --cache-reuse 256 \ --parallel 2 --slot-prompt-similarity 0.80 \ --log-verbosity 4 \ --cache-ram 16384本轮
--cache-idle-slots沿用该构建默认的启用状态,两组一致;没有另外切换 unified KV 模式。--log-verbosity 4用来观察缓存日志,测试后可以恢复日常日志级别。复测时建议:
- 分别用
--cache-ram 8192和--cache-ram 16384启动,每组从干净进程开始。
- 分别用
-
-
-
-
-
@yuan-hao 现在不是都玩vllm sglang 了吗
