【实测】ThinkPad P1 Gen4-3080显卡(3):Strata 引擎测试报告摘要
-
测试对象:Strata 引擎 v0.1.42(CUDA 12.9,sm_60..sm_89)在 3 个模型目录、3 个不同权重上的 4 个可测条目(RVN IQ3_S、GSQ-RCO IQ2_XS、GSQ-RCO IQ3_XXS、Alesha-pro 目录 IQ3_XXS 别名)
报告生成:2026-10-17(Asia/Shanghai)1. 摘要
本次测试把 Strata 引擎(llama.cpp 系 CUDA 12 实验引擎,v0.1.42)当作被测系统,在一台 16 GB 显存的笔记本上,对用户给出的三个模型目录做了可复现的吞吐实测。三个目录在权重层面只有 3 个不同权重:RVN 目录是 IQ3_S(merged 单文件 88.88 GB),GSQ-RCO 目录提供 IQ2_XS 与 IQ3_XXS 两档,Alesha-pro 目录只放了 IQ3_XXS——而它和 GSQ 目录的 IQ3_XXS 逐字节相同(两个分片的 SHA256 与字节数逐条相等,另做 9 个窗口 × 4 MiB 抽样比对 0 字节差异,且是 inode 不同、nlink=1 的独立物理副本),所以 Alesha 条目复用 GSQ 条目的实测数据,按"别名"记录,不再重复启动引擎。这样得到 4 个可测条目。
机器一句话:11th Gen Intel Core i7-11850H(8C/16T、AVX-512)+ 31.71 GiB RAM + NVIDIA RTX 3080 Laptop 16 GiB(驱动 596.47)+ Windows 11 22631 + SIX X7400 Pro SSD。三个权重的专家体量分别是 35.5 / 43 / 50 GB,按 Strata 官方"RAM ≥ 专家体量 + 约 10 GB"的门槛,需要 45.5 / 53 / 60 GB 内存,三者都远超本机 31.71 GiB,因此引擎必然落进官方 low-RAM 的
--mmap-experts分支:专家不从 RAM 常驻,而是按需从 SSD 经 Windows 页缓存读入显存专家槽。这一条决定了本次所有数字的量级,也是报告中最需要被理解的口径前提。三档结果一句话:IQ2_XS 在 32K / 48K / 64K 的 decode 均值分别是 28.95 / 30.15 / 34.80 t/s(每档两次重复取均值,另有一次独立冷 64K 33.60),IQ3_XXS 是 14.75 / 16.05 / 23.75 t/s(冷 64K 22.30)。两个权重都呈现"档位越长越快"的形态,原因不是上下文变长本身更快,而是同一篇文档按前缀延长、专家页已被页缓存焐热(详见 §11.1)。
达标清单(需求 V3 规则:任一档 decode 均值 ≥ 17 t/s):IQ2_XS @ 65536 = 34.80 t/s、IQ3_XXS @ 65536 = 23.75 t/s。IQ3_XXS 的 32K(14.75)与 48K(16.05)不达标——48K 档的第二次重复曾达到 17.00,但判定必须用两次均值,不能挑单次最大值。Alesha 条目与 IQ3_XXS 同值同结论,因是别名,不重复计入达标清单。用户原始表述的严格口径"CTX ≥ 64K 且 TPS > 17"与 V3 结论完全一致(两者都只在 64K 档通过)。
RVN IQ3_S 不可测一句话:32K / 48K / 64K 三档全部没有实测数据。2026-10-16~17 的三次 32K 尝试都在 32K prefill 早期(引擎日志
K/V grown to 40960 cells之后)导致系统级异常——前两次是硬冻结/强制断电(无 bugcheck、无 dump、无 Kernel-Power 41),第三次是0x0000019Cbugcheck(dump 已写)。该模型在本机唯一的实测是 4K 冒烟 8.90 t/s,属"能跑起来"的证据,不是档位成绩,禁止外推到 32K 及以上(§9.4)。结论速览(数值全部取自
data/summary.json):条目(CSV model) 量化 32K 均值 48K 均值 64K 均值 达标 CTX 结论 gsq-iq2xs IQ2_XS 28.95 30.15 34.80 65536 达标(三档均 ≥17) gsq-iq3xxs IQ3_XXS 14.75 16.05 23.75 65536 达标(仅 64K) alesha-iq3xxs IQ3_XXS 14.75 16.05 23.75 65536 达标(别名,复用 IQ3_XXS 数据,不重复计入) rvn-iq3s IQ3_S 未测 未测 未测 — 不可测(三次 32K 尝试致系统异常,仅有 4K 冒烟 8.90 仅供参考) -
测试结果让我感到奇怪:同样硬件条件下,在32K-64K的阶梯段,随着CTX的增加,TPS居然是上涨的——两个权重都呈现"档位越长越快"的形态,原因不是上下文变长本身更快,而是同一篇文档按前缀延长、专家页已被页缓存焐热。
但超过64K,机器就宕机了~