<![CDATA[【实测】Thinkpad P1 Gen4-3080显卡15款大模型测试报告摘要]]>#Thinkpad P1 Gen4-3080显卡15款大模型测试报告摘要

1 系统信息与测试环境

1.1 硬件平台

项目 规格
操作系统 Microsoft Windows 11 10.0.22631 64 λ
CPU 11th Gen Intel(R) Core(TM) i7-11850H @ 2.50GHz（8 核 / 16 线程）
内存 32 GB
显卡 NVIDIA GeForce RTX 3080 Laptop GPU / 16384 MiB / 596.47

1.2 推理后端

项目 版本 / 参数
推理框架 llama.cpp CUDA 版
版本 version: 0.5.0-dev (build 11413, commit b3daa077a) / built with Clang 20.1.8 for Windows x86_64
CUDA 后端 ggml-cuda.dll（NVIDIA CUDA 13.2，驱动 596.47）

1.3 测试方法与口径

  1. 服务配置：llama-server -ngl 99 -fa on -np 1 -t 16 --jinja -rea off，KV 缓存按配置阶梯取 q8_0/q4_0。
  2. 上下文场景：按 64K(65536)、96K(98304)、128K(131072)、160K(163840)、192K(196608)、224K(229376) 六档，逐模型升序实测。
  3. 负载构造：提示词按 0.875 × 上下文 填充（逐模型校准字符/token 比，实测比值 5.681），生成上限 300 token，温度 0，确保长上下文场景真实生效。
  4. 首次响应时间（TTFT）：流式请求发出至收到第一个有效内容块的墙钟秒数，其中预填充（prompt eval）占主导。
  5. 每秒生成 Token 数（TPS）：取服务端 timings.predicted_per_second（不含预填充）。
  6. 多路径配置阶梯：T1 = 默认 KV（GPU）→ T2 = KV q4_0 → T3 = 加深 --n-cpu-moe 卸层 → T4 = -nkvo（KV 落内存）。GPU 路径已达标（≥17 t/s）则不再跑 T4；未达标则强制实测对比，按真实结果择优。
  7. 剪枝：某档所有配置均无法启动即判定更高档位不支持（KV 随上下文单调增长），记录为“不支持（推断）”。

1.4 判定标准

判定 条件
不合适 可支持上下文低于 64K，或 64K 场景每秒生成 Token 数 < 17
合适 可支持上下文 ≥ 64K 且 64K 场景 TPS ≥ 17
可入启动菜单 存在某个场景同时满足 上下文 > 100K 且 TPS ≥ 17（取满足条件的最大场景）

17 全模型测试结果总表

序号 模型 最大可支持上下文 64K TTFT(s) 64K TPS 模型判定 可入菜单场景
1 Qwen3.6-35B-A3B 官方 IQ2_M 224K 55.38 38.88 合适 224K
2 Qwen3.6-35B-A3B 无审查 Aggressive IQ3_M 224K 73.02 33.01 合适 160K
3 Qwen3.6-35B-A3B 无审查 Aggressive Q4_K_M 192K 161.47 26.70 合适 128K
4 Qwen3.8-35B-A3B 蒸馏 Q2_K 224K 84.75 34.58 合适 224K
5 Qwen3-Coder-30B-A3B UD-Q4_K_XL 160K 165.90 9.50 不合适 —
6 Qwen3.8-27B-Uncensored IQ4_XS_4BPW 128K 179.96 12.01 不合适 —
7 Qwen3.8-27B-ZB4.14-MIN IQ4_XS 128K 180.48 11.70 不合适 —
8 Jack-3.8-27B-Coder 128K 36.88 11.04 不合适 —
9 Qwen3.8-27B-Heretic-Ara 3.0 MTP 128K 183.30 11.57 不合适 —
10 Ternary-Bonsai-2-27B PQ2_0 无 — — 不合适 —
11 Ternary-Bonsai-2-27B PTQ1_0 无 — — 不合适 —
12 Holo4-27B Q4_K_S 64K 183.68 11.26 不合适 —
13 Qwen3.8-27B GSQ-RCO IQ3_S MTP 128K 188.97 11.11 不合适 —
14 Qwen3.8-Flash-Next GSQ-RCO IQ3_S 无 — — 不合适 —
15 POCKET-Darwin-180B UD-Q4_K_XL 无 — — 不合适 —
]]>https://lcz.me/topic/2261RSS for NodeMon, 12 Oct 2026 13:28:57 GMTSun, 11 Oct 2026 01:29:46 GMT60<![CDATA[Reply to 【实测】Thinkpad P1 Gen4-3080显卡15款大模型测试报告摘要 on Mon, 12 Oct 2026 11:06:08 GMT]]>太偏门了....主要是35B干活能力不行。

]]>https://lcz.me/post/24259https://lcz.me/post/24259Mon, 12 Oct 2026 11:06:08 GMT