求M3 Ultra 512G 内存 模型推荐

[OJmm]

现在我使用的是omlx跑Qwen3.8-Flash-Next-Uncensored-oQ4e-mtp 它速度确实比较快
有没有更快的，qwen有时候会思考挺久的，我用它主要就是 搜资料 跑脚本什么的

[kop wang]

综合能力、速度等角度，我觉得降个量化精度到Q3级别，也就如此了。
qwen3.6-35B-A3B肯定会快，但是能力降太多了，没有实际意义。

[fcme]

对，也就只能换那个IQ3xxs的版本，日常做办公类的完全没有任何问题。
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

[babyedi3]

我记得M3U不是800GB/s的内存带宽吗？只有52.9 tok/s不应该啊。
https://github.com/nace-ai/kapitsa
关注下这个项目，专门为苹果优化的框架：
自报数（基准是它自己出的，口径需自行验证）：
M4 Pro 48GB 上 Qwen3.6-35B-A3B 4bit decode 153.7/178.9 t/s、prefill 4K 1169 t/s；
Qwen3.8-27B 4bit decode 63.0/67.3（次优 45.3），prefill 4K 389（次优 136，2.6–2.9×）；
不开投机时全引擎只有 13.3 t/s，即它一半的功劳来自投机解码。
M5 Max 128GB：35B-A3B decode 249.8/297.4、27B decode 72.9/83.7、Flash-Next 180B-A7B 101.8/107.6（内存 70.5GB vs oMLX 103.9GB）。

[terry]

建议去关注SGLang，这个才是苹果的正解，M3 Ultra带宽虽然不如M5，但是800G也是很强了，它的缺点是算力弱了点，SGLang官方有移植版本，社区也有改进版。最近官方MLX版本支持了radix tree，这个玩意意味着你512G想要跑DS V4.1 Flash，硬件和软件底子都有了。它的效果是任何框架都不能比的。不过说稳定性还不好，你可以让AI Agent去研究下。

[johnnybegood]

@OJmm 机器是好机器， 但跑大模型真的不是它的赛道。