12G 及以下显存的朋友可以试试这个，号称Qwen3.6-35B-A3B专家模型 在4g 显存能跑19t/s

[coolstar]

我在12g 显存上实测 256k上下文 + mmproj 能到40t/s，干点普通活感觉可以用了。

原帖:

https://www.reddit.com/r/LocalLLM/comments/1unmzqc/surprisingly_fast_qwen3635ba3b_on_a_4_gb_vram/

他的脚本参数：

/opt/llama.cpp/build/bin/llama-server \
-m /opt/llama.cpp/models/Qwen3.6-35B-A3B-UDT-Q4_K_XL_MTP.gguf \
--host 0.0.0.0 \
--port 8080 \
-c 64000 \
-ngl 999 \   
--override-tensor "blk\..*\.ffn_(gate_up|gate|up|down)_exps\.weight=CPU"
--flash-attn on \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--mlock \
-b 3072 \
--ubatch-size 3072 \
-ctxcp 128 \
--reasoning off \
--parallel 1 \
-t 6 \
-tb 12 \
--cache-ram 16384 \
--swa-full \
--no-kv-unified \
--spec-type none \
--cache-reuse 256 \

[stxpnet]

我的P100 16G显卡上面主要跑QWEN 3.5 9B,Q4KM，效果还行。

[coolstar]

@stxpnet 说:

我的P100 16G显卡上面主要跑QWEN 3.5 9B,Q4KM，效果还行。

嗯，9B 也很不错了，我的能跑非常流畅，处理文档什么的秒回。

就是参数少点，觉得有点虚，所以一直在折腾35B这个，满足一下虚虚荣心。

话说也没用编程任务实测过，不知道到底智商能力上有多大差别。

[terry]

如果是功能性任务，35b足够，它只是无法长期胜任全面Agent助手，幻觉严重。编程其实都不是事，因为大多数人写的小程序都不复杂。