【实测】3080-16G移动版-64GRAM 对4个Qwen3.8-Flash-Next模型测试结果摘要
-
3080-16G移动版-64GRAM 对4个Qwen3.8-Flash-Nex模型t测试结果摘要
# 结论:P1Gen4-3080-64GRAM对其4个模型测试,表明其可以达到个人AI的移动硬件工作平台基本条件!不必买那些太贵的便携机!
5. 实测结果
AP代指wszhoho-qwen3.8-flash-next-strata-bpw392
5.1 每档均值与极差(引擎口径,t/s)
模型 64K 96K 128K 160K 192K AP-IQ3_XXS(3.9181 bpw) 28.15(26.50 ~ 29.80) 33.40(32.60 ~ 34.20) 34.20(34.20 ~ 34.20) 33.60(33.60 ~ 33.60) 34.00(32.80 ~ 35.20) AP-IQ4_XS(4.0890 bpw) 27.10(25.10 ~ 29.10) 35.75(31.50 ~ 40.00) 31.65(30.50 ~ 32.80) 33.35(28.00 ~ 38.70) 30.80(30.70 ~ 30.90) 5.2 逐档明细
模型 档位 n prompt tok prefill t/s TTFT 均值 s VRAM 峰值 MiB AP-IQ3_XXS 64K 2 66713 / 65506 801.9 51.5 15043 AP-IQ3_XXS 96K 2 98245 / 98305 759.5 43.1 15043 AP-IQ3_XXS 128K 2 131080 / 131077 726.0 45.1 15043 AP-IQ3_XXS 160K 2 163873 / 163855 683.4 47.5 15043 AP-IQ3_XXS 192K 2 196578 / 196584 670.8 48.9 15043 AP-IQ4_XS 64K 2 66713 / 65506 773.8 53.8 15047 AP-IQ4_XS 96K 2 98245 / 98305 722.1 44.5 15047 AP-IQ4_XS 128K 2 131080 / 131077 717.2 45.6 15047 AP-IQ4_XS 160K 2 163873 / 163855 642.2 52.3 15047 AP-IQ4_XS 192K 2 196578 / 196584 662.0 49.5 15047 5.3 冷启动(repeat=0,单列)
模型 档位 prompt tok decode t/s prefill t/s TTFT s AP-IQ3_XXS 64K 65,545 35.90 806.1 81.4 AP-IQ4_XS 64K 65,545 32.70 797.8 82.2 冷启动 decode 反而高于 64K 档均值(因为 64K 档的第一次请求带着刚加载完的冷状态,第二次才 29.8/25.1);用户第一次问 64K 文档应按本表看:TTFT 约 81–82 s,之后 36/33 t/s。
7. 与其他权重的对比(同一台机器、同一协议)
权重 bpw 64K 128K 160K 192K 备注 Alesha-pro-Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF(261024) ~3.9 40.15 42.55 45.45 39.30 最快,但专家是 IQ2_XS/IQ3_XXS 混合 jimmy31chen_RVN-Qwen3.8-Flash-Next-Abliterated-Uncensored-IQ3_S(261024) 3.78 30.00 34.25 34.20 32.75 IQ3_S,质量更高 wszhoho-qwen3.8-flash-next-strata-bpw392_IQ3_XXS(本次) 3.9181 28.15 34.20 33.60 34.00 专家 down 用 IQ4_NL,CPU 反量化更重 wszhoho-qwen3.8-flash-next-strata-bpw392-IQ4_XS(本次) 4.0890 27.10 31.65 33.35 30.80 4-bit 质量档,专家 IQ4_NL 52% + IQ3_S 45.5% - AP 两档在 64K 明显慢于 GSQ IQ3_XXS(28.2/27.1 vs 40.2),在 128K+ 才追到 31–34,这是"更高比特/更重反量化换质量"的直接结果;AP 的卖点是质量(3.92/4.09 bpw、无 2-bit 专家),不是速度。
- AP-IQ4_XS 与 AP-IQ3_XXS 在本机几乎同速(96K 甚至 IQ4_XS 更快,35.75 vs 33.40),与 README 在 3×2080Ti 上"两档性能基本持平"的观察一致。
- 跨表注意:GSQ/RVN 的 160K 条目用的是 10-24 的
--spec 4/0.5 + kv-resident 32768;AP 用--spec 3/0.75。两者不是完全同一套调参,比较时看量级而非最后一位。
8. 稳定性与资源
- 22 次请求,0 次失败、0 次重试、0 次服务重启、0 系统事件(System 日志 6008/1001/41,近 12 小时无匹配)。测量窗口 2026-10-25 08:33–08:56。
- 引擎横幅(AP-IQ3_XXS):
expert cache 3872 slots, 7.85 GiB of VRAM;Windows commit: 33.4 GiB left of a 108.2 GiB limit。 - 引擎横幅(AP-IQ4_XS):
expert cache 3550 slots, 7.70 GiB of VRAM;Windows commit: 29.9 GiB left。 - KV streaming(IQ3_XXS 192K 档):
96.70% 的 block 读命中 VRAM,仅 408.3 MiB 从 RAM 读——长上下文下 KV 窗口 32768 足够,瓶颈不在 KV。 - 显存峰值 15,043 / 15,047 MiB(16,384 MiB 卡,约 92%),与 GSQ/RVN 同量级;GPU 空闲温度 59 °C,无过热降频记录。
- 启动时间:24–44 s(引擎读 42–44 GB 专家进 RAM),与既有权重一致。
- AP 两档在 64K 明显慢于 GSQ IQ3_XXS(28.2/27.1 vs 40.2),在 128K+ 才追到 31–34,这是"更高比特/更重反量化换质量"的直接结果;AP 的卖点是质量(3.92/4.09 bpw、无 2-bit 专家),不是速度。
- AP-IQ4_XS 与 AP-IQ3_XXS 在本机几乎同速(96K 甚至 IQ4_XS 更快,35.75 vs 33.40),与 README 在 3×2080Ti 上"两档性能基本持平"的观察一致。
- 跨表注意:GSQ/RVN 的 160K 条目用的是 10-24 的 --spec 4/0.5 + kv-resident 32768;AP 用 --spec 3/0.75。两者不是完全同一套调参,比较时看量级而非最后一位。
2. 测试环境
2.1 硬件(实测)
项目 实测值 来源 机型 LENOVO 20Y4S3XD00(ThinkPad P1 Gen4) Win32_ComputerSystemCPU 11th Gen Intel Core i7-11850H @ 2.50 GHz,8C/16T,AVX-512 注册表 / WMI 内存 63.71 GiB 可见;2×32 GB DDR4-3200(SK Hynix HMAA4GS6AJR8N-XN + DDR432G3200MHz),双通道,3200 MT/s Win32_PhysicalMemoryGPU NVIDIA GeForce RTX 3080 Laptop GPU,16,384 MiB,sm_86,驱动 596.47 nvidia-smiSSD SIX X7400 Pro,NVMe,1,908 GB Get-PhysicalDiskOS Windows 11 专业版,Build 22631,x64 Win32_OperatingSystem页面文件 C:\pagefile.sys 4,096 MB + D:\pagefile.sys 32,768 MB(固定,初始=最大);commit 上限 99.71 GiB Win32_PageFileUsage/Win32_OperatingSystem磁盘余量
26.6 GB;D: 231.4 GB(测前)Get-PSDrive时区 Asia/Shanghai(UTC+8) — -
此主題已被删除!
-
老旧便携机ThinkPad P1Gen4-3080-64GRAM,升级内存后可以发挥余热了!如有类似便携机,不妨一试:)
-
最好还是UBUNTU