跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 【实测】ThinkPad P1 Gen4-3080显卡(3):Strata 引擎测试报告摘要

【实测】ThinkPad P1 Gen4-3080显卡(3):Strata 引擎测试报告摘要

已定时 已固定 已锁定 已移动 LLM讨论区
rtx3080strata本地模型
2 帖子 1 发布者 140 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • PhilipShi2026P
    PhilipShi2026P
    PhilipShi2026
    编写于 最后由 编辑
    #1

    测试对象:Strata 引擎 v0.1.42(CUDA 12.9,sm_60..sm_89)在 3 个模型目录、3 个不同权重上的 4 个可测条目(RVN IQ3_S、GSQ-RCO IQ2_XS、GSQ-RCO IQ3_XXS、Alesha-pro 目录 IQ3_XXS 别名)
    报告生成:2026-10-17(Asia/Shanghai)

    1. 摘要

    本次测试把 Strata 引擎(llama.cpp 系 CUDA 12 实验引擎,v0.1.42)当作被测系统,在一台 16 GB 显存的笔记本上,对用户给出的三个模型目录做了可复现的吞吐实测。三个目录在权重层面只有 3 个不同权重:RVN 目录是 IQ3_S(merged 单文件 88.88 GB),GSQ-RCO 目录提供 IQ2_XS 与 IQ3_XXS 两档,Alesha-pro 目录只放了 IQ3_XXS——而它和 GSQ 目录的 IQ3_XXS 逐字节相同(两个分片的 SHA256 与字节数逐条相等,另做 9 个窗口 × 4 MiB 抽样比对 0 字节差异,且是 inode 不同、nlink=1 的独立物理副本),所以 Alesha 条目复用 GSQ 条目的实测数据,按"别名"记录,不再重复启动引擎。这样得到 4 个可测条目。

    机器一句话:11th Gen Intel Core i7-11850H(8C/16T、AVX-512)+ 31.71 GiB RAM + NVIDIA RTX 3080 Laptop 16 GiB(驱动 596.47)+ Windows 11 22631 + SIX X7400 Pro SSD。三个权重的专家体量分别是 35.5 / 43 / 50 GB,按 Strata 官方"RAM ≥ 专家体量 + 约 10 GB"的门槛,需要 45.5 / 53 / 60 GB 内存,三者都远超本机 31.71 GiB,因此引擎必然落进官方 low-RAM 的 --mmap-experts 分支:专家不从 RAM 常驻,而是按需从 SSD 经 Windows 页缓存读入显存专家槽。这一条决定了本次所有数字的量级,也是报告中最需要被理解的口径前提。

    三档结果一句话:IQ2_XS 在 32K / 48K / 64K 的 decode 均值分别是 28.95 / 30.15 / 34.80 t/s(每档两次重复取均值,另有一次独立冷 64K 33.60),IQ3_XXS 是 14.75 / 16.05 / 23.75 t/s(冷 64K 22.30)。两个权重都呈现"档位越长越快"的形态,原因不是上下文变长本身更快,而是同一篇文档按前缀延长、专家页已被页缓存焐热(详见 §11.1)。

    达标清单(需求 V3 规则:任一档 decode 均值 ≥ 17 t/s):IQ2_XS @ 65536 = 34.80 t/s、IQ3_XXS @ 65536 = 23.75 t/s。IQ3_XXS 的 32K(14.75)与 48K(16.05)不达标——48K 档的第二次重复曾达到 17.00,但判定必须用两次均值,不能挑单次最大值。Alesha 条目与 IQ3_XXS 同值同结论,因是别名,不重复计入达标清单。用户原始表述的严格口径"CTX ≥ 64K 且 TPS > 17"与 V3 结论完全一致(两者都只在 64K 档通过)。

    RVN IQ3_S 不可测一句话:32K / 48K / 64K 三档全部没有实测数据。2026-10-16~17 的三次 32K 尝试都在 32K prefill 早期(引擎日志 K/V grown to 40960 cells 之后)导致系统级异常——前两次是硬冻结/强制断电(无 bugcheck、无 dump、无 Kernel-Power 41),第三次是 0x0000019C bugcheck(dump 已写)。该模型在本机唯一的实测是 4K 冒烟 8.90 t/s,属"能跑起来"的证据,不是档位成绩,禁止外推到 32K 及以上(§9.4)。

    结论速览(数值全部取自 data/summary.json):

    条目(CSV model) 量化 32K 均值 48K 均值 64K 均值 达标 CTX 结论
    gsq-iq2xs IQ2_XS 28.95 30.15 34.80 65536 达标(三档均 ≥17)
    gsq-iq3xxs IQ3_XXS 14.75 16.05 23.75 65536 达标(仅 64K)
    alesha-iq3xxs IQ3_XXS 14.75 16.05 23.75 65536 达标(别名,复用 IQ3_XXS 数据,不重复计入)
    rvn-iq3s IQ3_S 未测 未测 未测 — 不可测(三次 32K 尝试致系统异常,仅有 4K 冒烟 8.90 仅供参考)
    1 条回复 最后回复
    0
    • PhilipShi2026P
      PhilipShi2026P
      PhilipShi2026
      编写于 最后由 PhilipShi2026 编辑
      #2

      测试结果让我感到奇怪:同样硬件条件下,在32K-64K的阶梯段,随着CTX的增加,TPS居然是上涨的——两个权重都呈现"档位越长越快"的形态,原因不是上下文变长本身更快,而是同一篇文档按前缀延长、专家页已被页缓存焐热。

      但超过64K,机器就宕机了~

      1 条回复 最后回复
      0

      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

      有了你的建议,这篇帖子会更精彩哦 💗

      注册 登录
      回复
      • 在新帖中回复
      登录后回复
      • 从旧到新
      • 从新到旧
      • 最多赞同


      • 登录

      • 登录或注册以进行搜索。
      • 第一个帖子
        最后一个帖子
      0
      • 版块
      • 最新
      • 标签
      • 热门
      • 用户
      • 群组