我用5060Ti 16gb，跑这个还真的很快。 n-cpu-moe = 22 时，平均速度是60 t/s， n-cpu-moe = 30 时，平均速度时50 t/s。但不知道稳定性和智商如何。 因为无法上传图片（选项时灰色的），我用了unsloth的Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf， 外加图形模型mmproj-BF16.gguf，n-cpu-moe = 22 作用可以达到最佳速度，大约 50 t/s。
我用5060Ti 16gb，跑这个还真的很快。 n-cpu-moe = 22 时，平均速度是60 t/s， n-cpu-moe = 30 时，平均速度时50 t/s。但不知道稳定性和智商如何。 因为无法上传图片（选项时灰色的），我用了unsloth的Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf， 外加图形模型mmproj-BF16.gguf，n-cpu-moe = 22 作用可以达到最佳速度，大约 50 t/s。