【RTX4060】【8G显存】运行Qwen3.6 35B A3B APEX-MTP包含两种方式及测试结果
-
系统 于 取消固定此主题
-
I-mini用起来效果如何？ 用这个提示词，看看能不能一次写出来： 编写一个网页版的贪吃蛇游戏，需求如下：
1, 普通食物：紫色球形，加10分，游戏启动时放置1个，被吃后立即刷新，没被吃这一直存在；
2, 特殊食物：金色星形，加30分，游戏启动后每间隔 10~30 秒随机出现1个，带脉冲动画和倒计时条，存在8秒
3, 缩小食物：绿色菱形，不加分，游戏启动后每间隔 20~40 秒随机出现1个，吃到后身体缩短3格（最少保留2节身体），带脉冲动画和倒计时条，存在8秒
4, 变长食物：红色正方形，加20分, 游戏启动后每间隔 40~80 秒随机出现1个，吃到后身体变长3格， 永久存在（被吃才消失），最多20个
5, 游戏画布30x30网格， 背景色蓝色，格子间有浅色分割线，中画布600x600
6, 蛇身绿色，椭圆形，蛇头球形，有眼睛，白底黑眼珠，看向前进方向
7, 空格键暂停/继续游戏
8, 仅用方向控制蛇走向,禁止 180° 掉头
9, 页面首次加载和游戏结束时，按回车键可开始新游戏
10, 页面布局：中间为画布，
10.1 画布上方显示当前得分, 蛇的长度, 几秒后将出现的特殊食物。
10.2 画布下方显示累积吃到的食物。 比如： 累积吃到 紫色10 金色 2 绿色 1 红色 1
10.3 画布下方增加一行，显示最近一次事件： 比如吃到金色食物 +30
10.4 游戏结束时在画布上显示结束原因,并提示按Enter键重新开始 -
我的3070 8G显存也可以llama.cpp, 但是用Hermes调用就非常慢. 是什么原因呢?
https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive -
RTX4060, 8GB 可以跑 35B-A3B , 很牛逼！~ 分享我的设置，希望有大神指点如果还能优化。
Hermes Agent 基准测试结果
测试日期： 2026-05-20
模型： Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf
llama.cpp 参数： -t 32 -tb 512 -b 4096 -ub 2048 -c 131072 -ngl 99 -fa on性能摘要
组件/测试 指标 结果
llama.cpp Short TPS 20 tokens 9.04 tok/s
llama.cpp Medium TPS 120 tokens 64.05 tok/s
llama.cpp Long TPS 250 tokens 65.71 tok/s
llama.cpp Server TPS (流式) 服务端 71.05 tok/s
llama.cpp TTFT 首 token 延迟 106.8 ms
llama.cpp 生成时间 (流式) 流式 1689.0 ms
WebUI 端到端延迟 完整响应 2707.6 ms
平均 llama.cpp TPS 综合 52.46 tok/s
关键发现
llama.cpp 服务端 TPS 71.05 tok/s — 符合预期性能水平
TTFT 极低 (106.8ms) — KV cache 预填充效率高
笔记本： Aftershock MX-16 Pro, RTX5090,24GB，想把模型换MTP的 --》 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF （Q3_K_XL)
升级llama.cpp to support MTP, 这样能够提升吗？ -
我的3070 8G显存也可以llama.cpp, 但是用Hermes调用就非常慢. 是什么原因呢?
https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive -
是
网页聊天的输入token特别短长点的基本上也就两三k，Hermes调用的话，默认提示词就20k以上，就300多的pp速度，你算一下需要处理多久吧。8g的卡只能是跑起来而已，用来驱动agent几乎不可用的。
是
网页聊天的输入token特别短长点的基本上也就两三k，Hermes调用的话，默认提示词就20k以上，就300多的pp速度，你算一下需要处理多久吧。8g的卡只能是跑起来而已，用来驱动agent几乎不可用的。
明白，就是对话开头prefill的上下文太大了，所以时间肯定长..
-
RTX4060, 8GB 可以跑 35B-A3B , 很牛逼！~ 分享我的设置，希望有大神指点如果还能优化。
Hermes Agent 基准测试结果
测试日期： 2026-05-20
模型： Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf
llama.cpp 参数： -t 32 -tb 512 -b 4096 -ub 2048 -c 131072 -ngl 99 -fa on性能摘要
组件/测试 指标 结果
llama.cpp Short TPS 20 tokens 9.04 tok/s
llama.cpp Medium TPS 120 tokens 64.05 tok/s
llama.cpp Long TPS 250 tokens 65.71 tok/s
llama.cpp Server TPS (流式) 服务端 71.05 tok/s
llama.cpp TTFT 首 token 延迟 106.8 ms
llama.cpp 生成时间 (流式) 流式 1689.0 ms
WebUI 端到端延迟 完整响应 2707.6 ms
平均 llama.cpp TPS 综合 52.46 tok/s
关键发现
llama.cpp 服务端 TPS 71.05 tok/s — 符合预期性能水平
TTFT 极低 (106.8ms) — KV cache 预填充效率高
笔记本： Aftershock MX-16 Pro, RTX5090,24GB，想把模型换MTP的 --》 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF （Q3_K_XL)
升级llama.cpp to support MTP, 这样能够提升吗？@R-simi-Kangtao
你的5090显卡肯定要跑NVFP4模型，性能接近Q8比你的Q3强多了。
你的参数-ngl 99太小了，建议新手改成-ngl auto，修改以后肯定超过100t/s
