我用5060Ti 16gb,跑这个还真的很快。 n-cpu-moe = 22 时,平均速度是60 t/s, n-cpu-moe = 30 时,平均速度时50 t/s。但不知道稳定性和智商如何。 因为无法上传图片(选项时灰色的),我用了unsloth的Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf, 外加图形模型mmproj-BF16.gguf,n-cpu-moe = 22 作用可以达到最佳速度,大约 50 t/s。
我用5060Ti 16gb,跑这个还真的很快。 n-cpu-moe = 22 时,平均速度是60 t/s, n-cpu-moe = 30 时,平均速度时50 t/s。但不知道稳定性和智商如何。 因为无法上传图片(选项时灰色的),我用了unsloth的Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf, 外加图形模型mmproj-BF16.gguf,n-cpu-moe = 22 作用可以达到最佳速度,大约 50 t/s。