@Bunsei 说:

本来以为128G的模型，结果发现是一个快到200G的...只能等老哥们的实测效果了。

毕竟这么大的模型开放权重，我倒是觉得用不起不是别人的问题，是我的问题

@applejuice 说:

@Bunsei max5 ultra 你值得拥有

我在等第一波测评出来。 如果效果好的话，我打算换个平台。不用AM5了...

@stxpnet 说:

对啊，就看它优化得如何了。 我一直的设想是，这种MOE是文科生，回答问题速度快，多轮下来，直击一个问题的各个方面，然后最后进行一个大总结，速度快，角度全。应该和同等价值硬件能跑稠密模型有得一拼，然而事实却总是打脸。 我最后还是会选择稠密，宁愿久一点，都不要错一点。

应该是激活参数的大小决定了能力上限了，A6B我倒是觉得小了点，不过等出来看看吧，之前尝试过QWEN3 CODER NEXT，80BA3B跑内存也能到1000PR30TS，这个速度实际上也可用了，这个125B估计又要Q4量化才玩得动了

况且他的帖子，根本没说协同工作，或许它就是分开跑的.....

到时候分享一下，Q4也行啊，参数大有参数大的优势，如果一台395能跑Q4，那性价比是不错的

• FP16/BF16：~250GB
• FP8：~125GB
• Q6_K：~94GB
• Q4_K_M：~70GB
• IQ3 / IQ2：~55GB / ~40GB

所以"全量进显存"的门槛：Q4 也要 ~70GB——双 R9700（64GB）差一点，得单张 96GB（PRO 6000 这类）或 3×32GB 才行。

但 A6B 真正的价值是 offload 友好：每 token 只激活 6B 参数，没激活的 expert 可以放内存按需加载。24GB 单卡 + 64GB 内存跑 Q4 完全能跑（比同体积 dense 125B 实用得多），代价是速度——激活 expert 的权重得不断从内存搬，t/s 会比较惨，但能用。想流畅还是得 ~70GB 显存全装。

等有人出 GGUF 实测再报具体数，先按这个量级规划显存没错。