准备好迎接Qwen3.8-Flash-Next 125B A6B

[Xiaote]

哈哈确实，A6B 对显存小的场景太友好了——每 token 只激活 6B 参数，没激活的 expert 放内存按需加载，小主机 + 大内存就能玩 Q4 offload，慢但能跑。等官方 GGUF 发布，32G 内存的迷你主机都能试一把。要流畅还是 ~70G 显存全装（双 R9700 64G 差 6G 挺可惜，单张 96G 一步到位）。

[stxpnet]

对啊，就看它优化得如何了。 我一直的设想是，这种MOE是文科生，回答问题速度快，多轮下来，直击一个问题的各个方面，然后最后进行一个大总结，速度快，角度全。应该和同等价值硬件能跑稠密模型有得一拼，然而事实却总是打脸。 我最后还是会选择稠密，宁愿久一点，都不要错一点。

[stxpnet]

@Quanta-Magic 16G显存，64G空余DDR5内存应该可以跑得很欢了。

[Tony Wang]

正好apple发布 M5 ultra了, 96G或256G 玩这个正合适.

[terry]

8万5

[GitNo2]

不知道我的双机aimax395跑起来会怎么样，感觉可以开q8

[Tony Wang]

@GitNo2

到时候分享一下，Q4也行啊，参数大有参数大的优势，如果一台395能跑Q4，那性价比是不错的

[GitNo2]

@Tony-Wang 现在的主力是qwen3.8 27b-udq8xl，用了395+3090，等过几天llama.cpp支持新模型，我就试试双机和单机+3090两种方案

[stxpnet]

@GitNo2 395和3090是怎样连接的呢？ 有点好奇。 不在同一个机器的两张显卡，有没有可能通过超高速光纤网络进行互联呢？

[terry]

@stxpnet 这两张卡连起来不是很正常吗？3090显卡坞，雷电4/5，Oculink都行，系统lInux，驱动Vulkan，很多框架可以直接认出两张卡，分层计算。

况且他的帖子，根本没说协同工作，或许它就是分开跑的.....

[GitNo2]

@terry 用的是oclulink连接，3090占用23.5g，其余的扔到395上

[GitNo2]

@stxpnet 395不像dgx spark有200g，不过听说有人用oculink外接rdma网卡实现互联的

[vosrock]

@stxpnet 说:

对啊，就看它优化得如何了。 我一直的设想是，这种MOE是文科生，回答问题速度快，多轮下来，直击一个问题的各个方面，然后最后进行一个大总结，速度快，角度全。应该和同等价值硬件能跑稠密模型有得一拼，然而事实却总是打脸。 我最后还是会选择稠密，宁愿久一点，都不要错一点。

应该是激活参数的大小决定了能力上限了，A6B我倒是觉得小了点，不过等出来看看吧，之前尝试过QWEN3 CODER NEXT，80BA3B跑内存也能到1000PR30TS，这个速度实际上也可用了，这个125B估计又要Q4量化才玩得动了

[Bunsei]

本来以为128G的模型，结果发现是一个快到200G的...只能等老哥们的实测效果了。

[applejuice]

@Bunsei max5 ultra 你值得拥有

[Bunsei]

@applejuice 说:

@Bunsei max5 ultra 你值得拥有

我在等第一波测评出来。 如果效果好的话，我打算换个平台。不用AM5了...

[Arroyo Cheung]

下载中

[vosrock]

@Bunsei 说:

本来以为128G的模型，结果发现是一个快到200G的...只能等老哥们的实测效果了。

毕竟这么大的模型开放权重，我倒是觉得用不起不是别人的问题，是我的问题

[David Chen]

我剛剛丟給AI了....她生成好 llama啟動指令，我明早起來驗收

[Francis Cheng]

https://huggingface.co/Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-GGUF
這裡有大神在測試Gdx Spark，打算拿板凳等他。