【RTX4060】【8G显存】运行Qwen3.6 35B A3B APEX-MTP包含两种方式及测试结果
-
RTX4060, 8GB 可以跑 35B-A3B , 很牛逼！~ 分享我的设置，希望有大神指点如果还能优化。
Hermes Agent 基准测试结果
测试日期： 2026-05-20
模型： Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf
llama.cpp 参数： -t 32 -tb 512 -b 4096 -ub 2048 -c 131072 -ngl 99 -fa on性能摘要
组件/测试 指标 结果
llama.cpp Short TPS 20 tokens 9.04 tok/s
llama.cpp Medium TPS 120 tokens 64.05 tok/s
llama.cpp Long TPS 250 tokens 65.71 tok/s
llama.cpp Server TPS (流式) 服务端 71.05 tok/s
llama.cpp TTFT 首 token 延迟 106.8 ms
llama.cpp 生成时间 (流式) 流式 1689.0 ms
WebUI 端到端延迟 完整响应 2707.6 ms
平均 llama.cpp TPS 综合 52.46 tok/s
关键发现
llama.cpp 服务端 TPS 71.05 tok/s — 符合预期性能水平
TTFT 极低 (106.8ms) — KV cache 预填充效率高
笔记本： Aftershock MX-16 Pro, RTX5090,24GB，想把模型换MTP的 --》 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF （Q3_K_XL)
升级llama.cpp to support MTP, 这样能够提升吗？ -
RTX4060, 8GB 可以跑 35B-A3B , 很牛逼！~ 分享我的设置，希望有大神指点如果还能优化。
Hermes Agent 基准测试结果
测试日期： 2026-05-20
模型： Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf
llama.cpp 参数： -t 32 -tb 512 -b 4096 -ub 2048 -c 131072 -ngl 99 -fa on性能摘要
组件/测试 指标 结果
llama.cpp Short TPS 20 tokens 9.04 tok/s
llama.cpp Medium TPS 120 tokens 64.05 tok/s
llama.cpp Long TPS 250 tokens 65.71 tok/s
llama.cpp Server TPS (流式) 服务端 71.05 tok/s
llama.cpp TTFT 首 token 延迟 106.8 ms
llama.cpp 生成时间 (流式) 流式 1689.0 ms
WebUI 端到端延迟 完整响应 2707.6 ms
平均 llama.cpp TPS 综合 52.46 tok/s
关键发现
llama.cpp 服务端 TPS 71.05 tok/s — 符合预期性能水平
TTFT 极低 (106.8ms) — KV cache 预填充效率高
笔记本： Aftershock MX-16 Pro, RTX5090,24GB，想把模型换MTP的 --》 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF （Q3_K_XL)
升级llama.cpp to support MTP, 这样能够提升吗？ -
RTX4060, 8GB 可以跑 35B-A3B , 很牛逼！~ 分享我的设置，希望有大神指点如果还能优化。
Hermes Agent 基准测试结果
测试日期： 2026-05-20
模型： Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf
llama.cpp 参数： -t 32 -tb 512 -b 4096 -ub 2048 -c 131072 -ngl 99 -fa on性能摘要
组件/测试 指标 结果
llama.cpp Short TPS 20 tokens 9.04 tok/s
llama.cpp Medium TPS 120 tokens 64.05 tok/s
llama.cpp Long TPS 250 tokens 65.71 tok/s
llama.cpp Server TPS (流式) 服务端 71.05 tok/s
llama.cpp TTFT 首 token 延迟 106.8 ms
llama.cpp 生成时间 (流式) 流式 1689.0 ms
WebUI 端到端延迟 完整响应 2707.6 ms
平均 llama.cpp TPS 综合 52.46 tok/s
关键发现
llama.cpp 服务端 TPS 71.05 tok/s — 符合预期性能水平
TTFT 极低 (106.8ms) — KV cache 预填充效率高
笔记本： Aftershock MX-16 Pro, RTX5090,24GB，想把模型换MTP的 --》 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF （Q3_K_XL)
升级llama.cpp to support MTP, 这样能够提升吗？@R-simi-Kangtao 你可以试一下我这个模型，我认为对于你的卡是有提升的，对于4060提升有限
-
@ezios, 下载中。。。 让我试试， Qwen3.6-35B-A3B-APEX-MTP-I-Mini.gguf - 14.3GB, 应该能快点，我可以加上下文了。 哈哈， 我测看看
-
果然翻倍提升，我还加 上下文，感激@ezios ，加个MTP提速不少
Hermes Agent + WebUI 性能测试报告
环境配置
项目 值
模型 Qwen3.6-35B-A3B-APEX-MTP-I-Mini.gguf (MoE, Q3_K_XL, ~16.8 GB)
GPU NVIDIA RTX 5090 Laptop (24GB GDDR7), 19.1 GB / 69% / 68°C
CPU Intel Core Ultra 9 275HX (24 threads)
Server llama.cpp built-in server (port 8081)
关键参数 -ngl 99 -t 24 -tb 512 -b 2048 -ub 1024 -fa on -c 131072
MTP draft-mtp (n_max=4, n_min=2, p_split=0.15)
非流式请求性能 (Server-side Timings)
测试 Prompt TPS Gen TPS Prompt ms Gen ms
Short (5 tok) 264.45 68.11 71.8 132.1
Medium (68 tok) 581.34 121.99 117.0 983.7
Long (122 tok) 822.52 111.12 148.3 1799.8
观察： Prompt TPS 随输入长度增长（581→822），Gen TPS 稳定在 111-122 tok/s。流式请求性能 (TTFT + Streaming TPS)
测试 TTFT (ms) Gen Tokens Stream TPS Wall (s)
Short (1-2 sent.) 2546.4 21 116.11 2.727
Medium (5 bullets) 161.9 174 127.63 1.525
Long (~150 wrd) 173.0 202 115.26 1.926
Extended (~200 wrd) 144.7 295 96.59 3.199
观察： TTFT 在 145-2546 ms 范围波动（短回复因首 token 初始化开销更大），稳定流式 TPS 约 97-128 tok/s。关键指标汇总
指标 值
非流式 Gen TPS (avg) 116.56 tok/s
流式 TPS (avg) 113.90 tok/s
TTFT (avg) 756.5 ms
TTFT 范围 144.7 - 2546.4 ms
Token 间隔 ~8-10 ms/token
与历史基线对比 (MTP 收益)
指标 历史 (非MTP) 当前 (MTP) 变化
Prompt TPS (cold) 73.13 264-822 +55% to +1030%
Gen TPS (cold) 65.93 68-122 +3% to +85%
Gen TPS (stream avg) 66.62 114-128 +71% to +92%
TTFB 11.44s 0.14-2.5s -80% to -99%
结论： MTP (Multi-Token Prediction) 带来了显著的性能提升，尤其是首 token 延迟降低超过一个数量级，流式生成速度提升约 70-92%。WebUI 用户体验显著改善 — 更快看到首 token，后续 token 流更流畅。WebUI 集成说明
流式模式： 用户看到首 token 的时间 = TTFT，之后以 Stream TPS 速率逐 token 显示
非流式模式： 用户等待完整响应（prompt + generation 总和）
WebUI 总时间 ≈ TTFT + generation time + network overhead -
重点在这 GPT5.5 CHAT。说明 AI 大厂互殴 对大家是个好事。Gmini 的主要对手发力了。
-
T terry 于 引用了 此主题
-
系统 于 取消固定此主题
-
I-mini用起来效果如何？ 用这个提示词，看看能不能一次写出来： 编写一个网页版的贪吃蛇游戏，需求如下：
1, 普通食物：紫色球形，加10分，游戏启动时放置1个，被吃后立即刷新，没被吃这一直存在；
2, 特殊食物：金色星形，加30分，游戏启动后每间隔 10~30 秒随机出现1个，带脉冲动画和倒计时条，存在8秒
3, 缩小食物：绿色菱形，不加分，游戏启动后每间隔 20~40 秒随机出现1个，吃到后身体缩短3格（最少保留2节身体），带脉冲动画和倒计时条，存在8秒
4, 变长食物：红色正方形，加20分, 游戏启动后每间隔 40~80 秒随机出现1个，吃到后身体变长3格， 永久存在（被吃才消失），最多20个
5, 游戏画布30x30网格， 背景色蓝色，格子间有浅色分割线，中画布600x600
6, 蛇身绿色，椭圆形，蛇头球形，有眼睛，白底黑眼珠，看向前进方向
7, 空格键暂停/继续游戏
8, 仅用方向控制蛇走向,禁止 180° 掉头
9, 页面首次加载和游戏结束时，按回车键可开始新游戏
10, 页面布局：中间为画布，
10.1 画布上方显示当前得分, 蛇的长度, 几秒后将出现的特殊食物。
10.2 画布下方显示累积吃到的食物。 比如： 累积吃到 紫色10 金色 2 绿色 1 红色 1
10.3 画布下方增加一行，显示最近一次事件： 比如吃到金色食物 +30
10.4 游戏结束时在画布上显示结束原因,并提示按Enter键重新开始
