【实测】Thinkpad P1 Gen4-3080显卡15款大模型测试报告摘要

PhilipShi2026

#Thinkpad P1 Gen4-3080显卡15款大模型测试报告摘要

1 系统信息与测试环境

项目	规格
操作系统	Microsoft Windows 11 10.0.22631 64 λ
CPU	11th Gen Intel(R) Core(TM) i7-11850H @ 2.50GHz（8 核 / 16 线程）
内存	32 GB
显卡	NVIDIA GeForce RTX 3080 Laptop GPU / 16384 MiB / 596.47

项目	版本 / 参数
推理框架	llama.cpp CUDA 版
版本	version: 0.5.0-dev (build 11413, commit b3daa077a) / built with Clang 20.1.8 for Windows x86_64
CUDA 后端	ggml-cuda.dll（NVIDIA CUDA 13.2，驱动 596.47）

服务配置：llama-server -ngl 99 -fa on -np 1 -t 16 --jinja -rea off，KV 缓存按配置阶梯取 q8_0/q4_0。
上下文场景：按 64K(65536)、96K(98304)、128K(131072)、160K(163840)、192K(196608)、224K(229376) 六档，逐模型升序实测。
负载构造：提示词按 0.875 × 上下文 填充（逐模型校准字符/token 比，实测比值 5.681），生成上限 300 token，温度 0，确保长上下文场景真实生效。
首次响应时间（TTFT）：流式请求发出至收到第一个有效内容块的墙钟秒数，其中预填充（prompt eval）占主导。
每秒生成 Token 数（TPS）：取服务端 timings.predicted_per_second（不含预填充）。
多路径配置阶梯：T1 = 默认 KV（GPU）→ T2 = KV q4_0 → T3 = 加深 --n-cpu-moe 卸层 → T4 = -nkvo（KV 落内存）。GPU 路径已达标（≥17 t/s）则不再跑 T4；未达标则强制实测对比，按真实结果择优。
剪枝：某档所有配置均无法启动即判定更高档位不支持（KV 随上下文单调增长），记录为“不支持（推断）”。

判定	条件
不合适	可支持上下文低于 64K，或 64K 场景每秒生成 Token 数 < 17
合适	可支持上下文 ≥ 64K 且 64K 场景 TPS ≥ 17
可入启动菜单	存在某个场景同时满足上下文 > 100K 且 TPS ≥ 17（取满足条件的最大场景）

序号	模型	最大可支持上下文	64K TTFT(s)	64K TPS	模型判定	可入菜单场景
1	Qwen3.6-35B-A3B 官方 IQ2_M	224K	55.38	38.88	合适	224K
2	Qwen3.6-35B-A3B 无审查 Aggressive IQ3_M	224K	73.02	33.01	合适	160K
3	Qwen3.6-35B-A3B 无审查 Aggressive Q4_K_M	192K	161.47	26.70	合适	128K
4	Qwen3.8-35B-A3B 蒸馏 Q2_K	224K	84.75	34.58	合适	224K
5	Qwen3-Coder-30B-A3B UD-Q4_K_XL	160K	165.90	9.50	不合适	—
6	Qwen3.8-27B-Uncensored IQ4_XS_4BPW	128K	179.96	12.01	不合适	—
7	Qwen3.8-27B-ZB4.14-MIN IQ4_XS	128K	180.48	11.70	不合适	—
8	Jack-3.8-27B-Coder	128K	36.88	11.04	不合适	—
9	Qwen3.8-27B-Heretic-Ara 3.0 MTP	128K	183.30	11.57	不合适	—
10	Ternary-Bonsai-2-27B PQ2_0	无	—	—	不合适	—
11	Ternary-Bonsai-2-27B PTQ1_0	无	—	—	不合适	—
12	Holo4-27B Q4_K_S	64K	183.68	11.26	不合适	—
13	Qwen3.8-27B GSQ-RCO IQ3_S MTP	128K	188.97	11.11	不合适	—
14	Qwen3.8-Flash-Next GSQ-RCO IQ3_S	无	—	—	不合适	—
15	POCKET-Darwin-180B UD-Q4_K_XL	无	—	—	不合适	—

terry

太偏门了....主要是35B干活能力不行。