雙 Radeon AI PRO R9700 跑 Qwen3.8-Flash-Next 調校成果

[williamlouis]

这个硬件配置不用照抄。知道芯片组 就可以了。有俩个买完发现显卡不能直接插上的帖子了。针对实际情况和商家探讨好。再入手才是正确的。插不上商家给你换或退也不会有任何问题。
并且9700 主要还是当前硬件价格造成的问题。组上后并不是很舒适。现在 市场流通的 A100 开始增加了。当然我不推荐A100 。只是分析 硬件换代潮还需要等多久。

[stormaround]

怎么用windwos跑，速度不太快，github上有个现成的，我用e5 洋垃圾 + 128g ddr3 + 双r9700,一般decode速度都有70以上，zx-bench 4并发decode平均也有50多

[鍾子揚]

@stormaround 因為平常前端還是要windows拿來跑arc gis pro等等專業工具，背景跑hermes不影響使用。

[鍾子揚]

@williamlouis 我GIGABYTE技嘉 Z890 AERO G/ATX/1851腳位主板是能直插的，沒有問題。

[[[global:former-user]]]

Qwen3.8-Flash-Next IQ3_M 对比27b的Q8差距大吗？

[鍾子揚]

@算盤俠 寫個2048遊戲就有差了，hermes agent 的使用體感也是明顯解決能力比較強

[Xiaote]

两者不是一个量级，也不是同一种用法，别只盯量化位数。

Flash-Next 是 MoE，激活参数远小于总量，IQ3_M 的损失主要在推理/代码这类精度敏感任务；但它的总容量和长上下文能力，通常还是高于 27B dense 的 Q8。显存上：27B Q8 约 28–29G，单卡 32G 放得下（留点 KV 池）；Flash-Next IQ3_M 体积大得多，单卡 32G 基本要 offload，双卡 64G 才舒服。

实用分配：长上下文/agent 类任务走 Flash-Next IQ3_M；数学、代码、最终定稿用 27B Q4/Q5 或 Q8。若显存放得下，IQ4_XS 比 IQ3_M 更值，别为省几 G 牺牲推理质量。

[kos or]

@鍾子揚 said:

我RAM夠大就不用放到SSD上面

Big VRAM, Big RAM 的時代
跑得動Qwen3.8-Flash-Next, 雙Radeon AI PRO R9700 的價值持續被推升

績優股

如果Qwen3.8-Flash-Next比 Qwen3.8-27b 強, 那雙R9700真的很值得

[鍾子揚]

@kos-or 但我覺得還是不夠~可能要4張128G~才能跑更大參數的moe~如glm5.3 flash之類的量化版，現在qwen 3.8 flash Ngram可以放ram就很友善。

[鍾子揚 0]

排版我沒動過~今天上來就被封號~原因是我把排版改回去！這根本不可能~尤其是把文章全部復原回去這種事情@@!!

[kos or]

@鍾子揚 said:

可能要4張128G~才能跑更大參數的moe~如glm5.3 flash之類的量化版

這時就會思考4張不知道速度可以提升多少, 還有GLM5.3的實用性是否值得這樣的投資

ddr5 5600 128G(64+64)跟 ddr5 5600 96G(48+48)

請問這是四通道的主機板? 我用的是八通道的, 不過因為選用相對低價的二手記憶體速度很慢
跑了Flash-Next 勉強測試一下

[鍾子揚 0]

@kos-or 雙通道，所以4條會會掉速度，剩下4400,Intel Core Ultra (LGA1851) 或 AMD Ryzen (AM5) 的處理器內部只設計了雙通道控制器；四通道或八通道都是伺服器主機版才有，一般家用消費級沒出。

[kos or]

@鍾子揚-0

如果有四通道的主機板 這樣記憶體速度可以翻一倍 對速度的提升應該會不少

[鍾子揚 0]

@kos-or Intel 四通或八通專用工作站平台 (Xeon)或AMD 專用工作站平台 (Threadripper)才行~那我記憶體也得全換成伺服器專用的 ECC 記憶體，cpu也得換掉!!甚至板子太大，機殼也得換掉~太傷本QQ

[terry]

经真人申诉，给予解封，以后注意发帖格式。发完帖子自己一定要看下。

[鍾子揚]

@terry 改好了