#Thinkpad P1 Gen4-3080显卡15款大模型测试报告摘要
1 系统信息与测试环境
1.1 硬件平台
| 项目 |
规格 |
| 操作系统 |
Microsoft Windows 11 10.0.22631 64 λ |
| CPU |
11th Gen Intel(R) Core(TM) i7-11850H @ 2.50GHz（8 核 / 16 线程） |
| 内存 |
32 GB |
| 显卡 |
NVIDIA GeForce RTX 3080 Laptop GPU / 16384 MiB / 596.47 |
1.2 推理后端
| 项目 |
版本 / 参数 |
| 推理框架 |
llama.cpp CUDA 版 |
| 版本 |
version: 0.5.0-dev (build 11413, commit b3daa077a) / built with Clang 20.1.8 for Windows x86_64 |
| CUDA 后端 |
ggml-cuda.dll（NVIDIA CUDA 13.2，驱动 596.47） |
1.3 测试方法与口径
- 服务配置：
llama-server -ngl 99 -fa on -np 1 -t 16 --jinja -rea off，KV 缓存按配置阶梯取 q8_0/q4_0。
- 上下文场景：按 64K(65536)、96K(98304)、128K(131072)、160K(163840)、192K(196608)、224K(229376) 六档，逐模型升序实测。
- 负载构造：提示词按
0.875 × 上下文 填充（逐模型校准字符/token 比，实测比值 5.681），生成上限 300 token，温度 0，确保长上下文场景真实生效。
- 首次响应时间（TTFT）：流式请求发出至收到第一个有效内容块的墙钟秒数，其中预填充（prompt eval）占主导。
- 每秒生成 Token 数（TPS）：取服务端
timings.predicted_per_second（不含预填充）。
- 多路径配置阶梯：T1 = 默认 KV（GPU）→ T2 = KV q4_0 → T3 = 加深
--n-cpu-moe 卸层 → T4 = -nkvo（KV 落内存）。GPU 路径已达标（≥17 t/s）则不再跑 T4；未达标则强制实测对比，按真实结果择优。
- 剪枝：某档所有配置均无法启动即判定更高档位不支持（KV 随上下文单调增长），记录为“不支持（推断）”。
1.4 判定标准
| 判定 |
条件 |
| 不合适 |
可支持上下文低于 64K，或 64K 场景每秒生成 Token 数 < 17 |
| 合适 |
可支持上下文 ≥ 64K 且 64K 场景 TPS ≥ 17 |
| 可入启动菜单 |
存在某个场景同时满足 上下文 > 100K 且 TPS ≥ 17（取满足条件的最大场景） |
17 全模型测试结果总表
| 序号 |
模型 |
最大可支持上下文 |
64K TTFT(s) |
64K TPS |
模型判定 |
可入菜单场景 |
| 1 |
Qwen3.6-35B-A3B 官方 IQ2_M |
224K |
55.38 |
38.88 |
合适 |
224K |
| 2 |
Qwen3.6-35B-A3B 无审查 Aggressive IQ3_M |
224K |
73.02 |
33.01 |
合适 |
160K |
| 3 |
Qwen3.6-35B-A3B 无审查 Aggressive Q4_K_M |
192K |
161.47 |
26.70 |
合适 |
128K |
| 4 |
Qwen3.8-35B-A3B 蒸馏 Q2_K |
224K |
84.75 |
34.58 |
合适 |
224K |
| 5 |
Qwen3-Coder-30B-A3B UD-Q4_K_XL |
160K |
165.90 |
9.50 |
不合适 |
— |
| 6 |
Qwen3.8-27B-Uncensored IQ4_XS_4BPW |
128K |
179.96 |
12.01 |
不合适 |
— |
| 7 |
Qwen3.8-27B-ZB4.14-MIN IQ4_XS |
128K |
180.48 |
11.70 |
不合适 |
— |
| 8 |
Jack-3.8-27B-Coder |
128K |
36.88 |
11.04 |
不合适 |
— |
| 9 |
Qwen3.8-27B-Heretic-Ara 3.0 MTP |
128K |
183.30 |
11.57 |
不合适 |
— |
| 10 |
Ternary-Bonsai-2-27B PQ2_0 |
无 |
— |
— |
不合适 |
— |
| 11 |
Ternary-Bonsai-2-27B PTQ1_0 |
无 |
— |
— |
不合适 |
— |
| 12 |
Holo4-27B Q4_K_S |
64K |
183.68 |
11.26 |
不合适 |
— |
| 13 |
Qwen3.8-27B GSQ-RCO IQ3_S MTP |
128K |
188.97 |
11.11 |
不合适 |
— |
| 14 |
Qwen3.8-Flash-Next GSQ-RCO IQ3_S |
无 |
— |
— |
不合适 |
— |
| 15 |
POCKET-Darwin-180B UD-Q4_K_XL |
无 |
— |
— |
不合适 |
— |
