跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 把闲置内存给 llama.cpp:12 份 16K 文档切换,重访首字从 24.39 秒降到 1.01 秒

把闲置内存给 llama.cpp:12 份 16K 文档切换,重访首字从 24.39 秒降到 1.01 秒

已定时 已固定 已锁定 已移动 LLM讨论区
llama.cpp7900xtx本地模型
6 帖子 4 发布者 352 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • CennacC
    CennacC
    Cennac
    体面乡绅
    编写于 最后由 编辑
    #1

    把闲置内存给 llama.cpp:12 份 16K 文档切换,重访首字从 24.39 秒降到 1.01 秒

    最近在折腾双 7900 XTX 跑本地模型。两路 27B 跑起来以后,系统内存还有不少空余,就试了一下:给 llama.cpp 多一点 RAM 会话缓存,能不能改善多文档切换的等待?

    结果比较明确:在本次 12 份文档轮换场景中,RAM 缓存预算从 8GiB 调到 16GiB,最早六份文档重访的长前缀命中从 0/6 变为 6/6,平均首字等待从 24.39 秒降到 1.01 秒。

    这次用的始终是现有 64GB 内存,调整的是缓存预算。首次读取仍然需要约 24 秒,持续吐字速度基本相同,改善集中在切回旧文档、复用已有上下文时。

    测试环境

    测试日期:2026 年 10 月 26 日。

    项目 配置
    系统 Ubuntu 26.04
    CPU Intel ES,系统标识 Genuine Intel(R) 0000,14 核 / 20 线程
    主板 铭瑄 MS-Terminator B760M D4
    系统内存 64GB,4×16GB DDR4,当前配置 2666 MT/s
    显卡 工作站安装两张 RX 7900 XTX 24GB;本轮容量 A/B 固定用其中的涡轮卡单实例
    另一张卡 保留原 27B 实例,容量 A/B 期间空闲
    推理后端 llama.cpp,Vulkan
    程序版本 0.7.0-dev,build 169,commit a8d9a7e1e55f5b613f297504d9e159807ec3a99b
    模型 Qwen3.8-27B-UD-Q4_K_S.gguf,保留 mmproj-F16.gguf 加载
    KV 量化 K / V 均为 q4_0
    上下文与槽位 -c 262144 --parallel 2,本机 /props 显示每槽 131072
    固定加速参数 ngram-map-k4v,draft-mtp、draft 最大 3、后端采样

    容量对照全部在同一张卡上完成。双卡独立实例是日常部署方式,这里的差额来自同一实例的 RAM 缓存预算调整。

    主要改了什么

    原来就有这些参数:

    --cache-prompt
    --cache-reuse 256
    --parallel 2
    --slot-prompt-similarity 0.80
    

    当前这个构建的 --help 显示,--cache-ram 默认上限为 8192MiB。两路原实例都没有环境变量覆盖这个值。

    本轮分别显式设置:

    --cache-ram 0       # 禁用 RAM 提示缓存,保留其他参数
    --cache-ram 8192    # 8GiB
    --cache-ram 16384   # 16GiB
    

    RAM 缓存保存历史提示的上下文状态。旧文档离开 GPU 活动槽位后,如果状态仍保存在 RAM 中,后续请求可以恢复这份状态,减少重新预填的工作量。

    --cache-ram 的单位是 MiB,设置的是预算上限。启动时不会立刻分配满 16GiB,进程的总内存占用也还包括活动上下文、检查点等其他部分。

    另外,RAM 缓存预算与活动上下文长度是两项设置。把前者调大,不会自动把单请求上下文上限调大。

    怎么测的

    分了两类对照,分别比较。

    第一类:三份文档,验证 RAM 恢复机制。

    每份文档约 16K token,先依次读入 A、B、C,再按 A、B、C 的顺序重新请求。对照禁用 RAM 缓存和 8GiB 预算。

    第二类:十二份文档,验证缓存容量。

    每份同样约 16K token,先依次读入 12 份,再从最旧的文档开始,按顺序重访前六份。对照 8GiB 和 16GiB 预算。

    文档由固定种子的合成记录构成,各文档数据不同;开头、中间、结尾各有一个独立标记,要求模型按顺序返回三个标记。每组使用相同的输入文件及 SHA256。实际输入为 16368 / 16369 token,设置最多输出 48 token,本轮长文检索回复实际均为 25 token。

    请求固定 temperature=0、seed=42、cache_prompt=true、关闭思考,使用流式输出。首字时间从客户端发出请求计到收到第一段非空输出,包含 RAM 保存、恢复等等待;同时保留服务端 timings 和 usage。

    每个配置独立启动一次,共四组、56 条请求,包含预热及立即重复检查。没有做多次独立启动的误差区间。每组结束恢复原服务,容量 A/B 期间另一张卡的进程保持不变。

    结果一:三份文档,RAM 缓存确实有效

    RAM 缓存预算 首次读取平均首字 三份旧文档重访平均首字 长前缀命中 最后一份立即重复首字
    禁用 23.347 秒 23.609 秒 0/3 0.286 秒
    8GiB 23.694 秒 1.018 秒 3/3 0.287 秒

    这里特意保留了“立即重复”一列:即使禁用 RAM 缓存,刚访问过、还在 GPU 槽位里的文档也可以很快命中。只测连续重复同一份文档,很容易看不出 RAM 缓存的价值。

    轮换三份文档后再回来,差别就明显了。8GiB 组的日志确认发生了 RAM 状态恢复,旧文档大部分 token 得以复用。

    结果二:十二份文档,8GiB 与 16GiB 拉开差距

    项目 8GiB 预算 16GiB 预算
    首次读取平均首字 24.244 秒 24.317 秒
    前六份旧文档重访平均首字 24.391 秒 1.014 秒
    前六份旧文档长前缀命中 0/6 6/6
    六次重访完成总时间,含输出 148.120 秒 7.859 秒
    重访每请求复用 token 21 16364 / 16365
    重访每请求重新计算 token 16347 / 16348 4
    日志记录的缓存淘汰事件 10 0
    同组原生生成速度均值 81.38 tok/s 81.27 tok/s

    六份文档的重访首字分别为:

    文档 8GiB 16GiB
    第 1 份 24.3773 秒 1.0138 秒
    第 2 份 24.4042 秒 1.0134 秒
    第 3 份 24.3901 秒 1.0105 秒
    第 4 份 24.3833 秒 1.0247 秒
    第 5 份 24.4013 秒 1.0141 秒
    第 6 份 24.3921 秒 1.0071 秒

    这组重访的平均首字等待减少约 95.8%。8GiB 组仍能复用 21 个公共前缀 token,但长文档状态已经被淘汰,需要重新读取正文;16GiB 组则六次都恢复了 RAM 中的旧状态。

    日志中能对应看到:

    # 8GiB 组出现为新条目腾空间的淘汰记录
    making room for prompt cache entry, removing oldest entry
    
    # 16GiB 组重访时找到更合适的历史状态
    found better prompt with f_keep = 0.999, f_sim = 1.000
    

    第一份文档在 16GiB 组重访的原始记录节选:

    {
      "ttft_s": 1.0138,
      "usage": {
        "prompt_tokens": 16369,
        "completion_tokens": 25,
        "prompt_tokens_details": {
          "cached_tokens": 16365
        }
      },
      "timings": {
        "cache_n": 16365,
        "prompt_n": 4
      }
    }
    

    上表的 0/6 和 6/6,仅指本次指定重访顺序下、这六份旧文档的长前缀命中;命中按复用超过输入的 90% 计,并额外核验 RAM 恢复日志。从最旧文档顺序重访会形成连续淘汰压力,日常访问顺序不同,命中率也会不同。

    生成速度来自这批短检索回复,只用于观察明显回退,不作为长篇代码生成成绩。

    实际用了多少内存

    项目 8GiB 预算、12 文档 16GiB 预算、12 文档
    引擎日志统计的 RAM 缓存峰值 7.73GiB 10.51GiB
    实验进程 RSS 峰值 9.80GiB 12.51GiB
    系统最低 MemAvailable 47.29GiB 44.53GiB
    测量期间全机新增 swap 换出 0MiB 0MiB

    所以这次的限制很直接:默认缓存上限到了,系统内存还有不少。调高预算以后,旧文档得以保留下来。

    缓存峰值和 RSS 来自不同统计口径;系统可用内存还受其他进程、文件缓存等影响,不把几列数值简单相加减。表中数据也是单个实验实例的观测值,两路实例同时把缓存填满的峰值还没有测。

    想自己试,怎么设置

    已有服务可以先保留启动命令,只把 RAM 预算明确设为:

    --cache-ram 16384
    

    下面是本轮副卡实例的参数形式,路径、端口和设备名已换为示例值。YOUR_VULKAN_DEVICE 按自己程序的 --list-devices 输出填写;MTP 等参数需要使用支持它们的构建。缓存 A/B 时,两组保持同一个程序和其他参数,只改最后的 RAM 预算。

    ./llama-server \
      -m /path/to/Qwen3.8-27B-UD-Q4_K_S.gguf \
      --device YOUR_VULKAN_DEVICE \
      --mmproj /path/to/mmproj-F16.gguf \
      --spec-type ngram-map-k4v,draft-mtp \
      --spec-ngram-map-k4v-size-n 12 \
      --spec-draft-n-max 3 \
      --spec-draft-p-min 0 \
      --backend-sampling \
      --host 127.0.0.1 --port 8080 \
      -ngl 999 -fa 1 -c 262144 -ub 512 \
      --cache-type-k q4_0 --cache-type-v q4_0 \
      --reasoning off \
      --cont-batching --cache-prompt --cache-reuse 256 \
      --parallel 2 --slot-prompt-similarity 0.80 \
      --log-verbosity 4 \
      --cache-ram 16384
    

    本轮 --cache-idle-slots 沿用该构建默认的启用状态,两组一致;没有另外切换 unified KV 模式。--log-verbosity 4 用来观察缓存日志,测试后可以恢复日常日志级别。

    复测时建议:

    1. 分别用 --cache-ram 8192 和 --cache-ram 16384 启动,每组从干净进程开始。
    1 条回复 最后回复
    2
    • terryT
      terryT
      terry
      易有太极
      编写于 最后由 编辑
      #2

      弟,strata出来之后这框架就凉了,😢

      油管:https://www.youtube.com/@抡锤者

      yuan haoY CennacC 2 条回复 最后回复
      0
      • terryT terry

        弟,strata出来之后这框架就凉了,😢

        yuan haoY
        yuan haoY
        yuan hao
        编写于 最后由 编辑
        #3

        @terry strata 只支持稀疏MOE的模型吧,稠密的27B模型还得是llama.cpp

        A 1 条回复 最后回复
        0
        • terryT terry

          弟,strata出来之后这框架就凉了,😢

          CennacC
          CennacC
          Cennac
          体面乡绅
          编写于 最后由 编辑
          #4

          @terry 是,不过我测试以及我想要高并发给知识库用,暂时这个效果更好一些。我还有个自己弄得测试27b测试比strata fn分数好一点。等96内存到位再测一下。东西在手猛测就是。

          1 条回复 最后回复
          0
          • yuan haoY yuan hao

            @terry strata 只支持稀疏MOE的模型吧,稠密的27B模型还得是llama.cpp

            A
            A
            applejuice
            王侯将相
            编写于 最后由 编辑
            #5

            @yuan-hao 现在不是都玩vllm sglang 了吗

            yuan haoY 1 条回复 最后回复
            0
            • A applejuice

              @yuan-hao 现在不是都玩vllm sglang 了吗

              yuan haoY
              yuan haoY
              yuan hao
              编写于 最后由 编辑
              #6

              applejuice 我只有一张显卡玩不起

              1 条回复 最后回复
              0

              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

              厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

              有了你的建议,这篇帖子会更精彩哦 💗

              注册 登录
              回复
              • 在新帖中回复
              登录后回复
              • 从旧到新
              • 从新到旧
              • 最多赞同


              • 登录

              • 登录或注册以进行搜索。
              • 第一个帖子
                最后一个帖子
              0
              • 版块
              • 最新
              • 标签
              • 热门
              • 用户
              • 群组