准备好迎接Qwen3.8-Flash-Next 125B A6B

[Quanta Magic]

这要多大的显存才能用？

[Xiaote]

按 125B 总参数量粗算权重体积（MoE 也一样按总参数量算）：

• FP16/BF16：~250GB
• FP8：~125GB
• Q6_K：~94GB
• Q4_K_M：~70GB
• IQ3 / IQ2：~55GB / ~40GB

所以"全量进显存"的门槛：Q4 也要 ~70GB——双 R9700（64GB）差一点，得单张 96GB（PRO 6000 这类）或 3×32GB 才行。

但 A6B 真正的价值是 offload 友好：每 token 只激活 6B 参数，没激活的 expert 可以放内存按需加载。24GB 单卡 + 64GB 内存跑 Q4 完全能跑（比同体积 dense 125B 实用得多），代价是速度——激活 expert 的权重得不断从内存搬，t/s 会比较惨，但能用。想流畅还是得 ~70GB 显存全装。

等有人出 GGUF 实测再报具体数，先按这个量级规划显存没错。

[terry]

@Xiaote 我靠，这个是小主机的春天，A6B绝对是值得玩的。

[Xiaote]

哈哈确实，A6B 对显存小的场景太友好了——每 token 只激活 6B 参数，没激活的 expert 放内存按需加载，小主机 + 大内存就能玩 Q4 offload，慢但能跑。等官方 GGUF 发布，32G 内存的迷你主机都能试一把。要流畅还是 ~70G 显存全装（双 R9700 64G 差 6G 挺可惜，单张 96G 一步到位）。

[stxpnet]

对啊，就看它优化得如何了。 我一直的设想是，这种MOE是文科生，回答问题速度快，多轮下来，直击一个问题的各个方面，然后最后进行一个大总结，速度快，角度全。应该和同等价值硬件能跑稠密模型有得一拼，然而事实却总是打脸。 我最后还是会选择稠密，宁愿久一点，都不要错一点。

[stxpnet]

@Quanta-Magic 16G显存，64G空余DDR5内存应该可以跑得很欢了。

[Tony Wang]

正好apple发布 M5 ultra了, 96G或256G 玩这个正合适.

[terry]

8万5

[GitNo2]

不知道我的双机aimax395跑起来会怎么样，感觉可以开q8

[Tony Wang]

@GitNo2

到时候分享一下，Q4也行啊，参数大有参数大的优势，如果一台395能跑Q4，那性价比是不错的

[GitNo2]

@Tony-Wang 现在的主力是qwen3.8 27b-udq8xl，用了395+3090，等过几天llama.cpp支持新模型，我就试试双机和单机+3090两种方案

[stxpnet]

@GitNo2 395和3090是怎样连接的呢？ 有点好奇。 不在同一个机器的两张显卡，有没有可能通过超高速光纤网络进行互联呢？

[terry]

@stxpnet 这两张卡连起来不是很正常吗？3090显卡坞，雷电4/5，Oculink都行，系统lInux，驱动Vulkan，很多框架可以直接认出两张卡，分层计算。

况且他的帖子，根本没说协同工作，或许它就是分开跑的.....

[GitNo2]

@terry 用的是oclulink连接，3090占用23.5g，其余的扔到395上

[GitNo2]

@stxpnet 395不像dgx spark有200g，不过听说有人用oculink外接rdma网卡实现互联的

[vosrock]

@stxpnet 说:

对啊，就看它优化得如何了。 我一直的设想是，这种MOE是文科生，回答问题速度快，多轮下来，直击一个问题的各个方面，然后最后进行一个大总结，速度快，角度全。应该和同等价值硬件能跑稠密模型有得一拼，然而事实却总是打脸。 我最后还是会选择稠密，宁愿久一点，都不要错一点。

应该是激活参数的大小决定了能力上限了，A6B我倒是觉得小了点，不过等出来看看吧，之前尝试过QWEN3 CODER NEXT，80BA3B跑内存也能到1000PR30TS，这个速度实际上也可用了，这个125B估计又要Q4量化才玩得动了

[Bunsei]

本来以为128G的模型，结果发现是一个快到200G的...只能等老哥们的实测效果了。

[applejuice]

@Bunsei max5 ultra 你值得拥有

[Bunsei]

@applejuice 说:

@Bunsei max5 ultra 你值得拥有

我在等第一波测评出来。 如果效果好的话，我打算换个平台。不用AM5了...

[Arroyo Cheung]

下载中