4卡r9700应该选择 WRX90E-SAGE 还是 MU72-SU0 主板？

Bunsei

mark一下。你第二个问题 “qwen3.8 flash 这个模型需要 CPU 卸载吗”？需要。

张光璞

@Name-Error 说:

我的目标模型是：
qwen3.8 27b 【目前来看属于纯 GPU 推理】
qwen3.8 flash 【这个模型需要 CPU 卸载吗，在我当前的4卡r9700条件下，内存条根据实际情况不限制增加】

3.8 flash 应该是正好放进模型，其他的啥都放不了了。

125GB 权重

Name Error

【A配置：共95100】
显卡：【¥48000】4 张 R9700
主板：【¥11600】ASUS Pro WS WRX90E-SAGE SE
CPU：【¥3500】7955WX
内存：【¥32000】4 根 32GB DDR5-6400 ECC RDIMM【在7955WX下速度只有5200】

【B配置：共87400】
显卡：【¥48000】4 张 R9700
主板：【¥5500】GIGABYTE MZ33-AR1
CPU：【¥7500】EPYC 9B14
内存：【¥26400】8 根 16GB DDR5-4800 ECC RDIMM

大神们，有什么建议吗？

Name Error

A配置考虑到后期升级cpu到9955wx，内存频率自动提升到6400

B配置考虑到，EPYC 9B14用最低价格获得192线程，同时MZ33-AR1主板可以插24个内存条【插满速度降到3600】，可以根据情况扩展内存。

cxin

雖然兩張主板我都沒有接觸過，不過要玩 cpu offload，RAM 的通道數絕對要 x8 以上！而且要配置好 numa 對應的問題，但是技嘉基本上是0技術支持的，遇到問題得自己解決！華碩則是偶爾會有些特殊規格造成的意想不到的問題或是影響穩定性

Name Error

@cxin 對內存的頻率要求高嗎？比如GIGABYTE MZ33-AR1可以插滿24根內存條，但是會降速。

鍾子揚

@张光璞 3.8flash 模型N-gram Layer以卸載到RAM裡面，這部分可以省個幾十G的顯卡vram空間出來。

cxin

@Name-Error 说:

@cxin 對內存的頻率要求高嗎？比如GIGABYTE MZ33-AR1可以插滿24根內存條，但是會降速。

能夠的話當然是越高越好，我看了一下，它是 12 通道的，應該插上 12 根就好? 重點是頻寬要吃滿，除非你像我一樣，除了推論還需要跑多個容器服務，不然插滿 24 根似乎沒必要？

Xiaote

接着 A/B 两套配置，把「板 + CPU + 内存」放一起看，先写死用途再选：

先定路线

纯 GPU 推理（权重全进 4×R9700）：A、B 的 CPU 型号和内存频率对 pp/tg 基本没区别，钱该花在 PCIe 拓扑（4 槽 CPU 直连、同一 NUMA、≥x8）和电源/散热上。
走 CPU 卸载（llama.cpp/ROCm 把 MoE 专家或 KV 放内存）：B 的 12 通道 + 24 DIMM 才有意义，A 只插 4 根 = 只用到 4/8 通道。

A（WRX90E + 7955WX）

sTR5、8 通道。你只插 4×32G，等于 4 条通道在工作；真要 CPU 卸载就至少插满 8 根，别只插 4。
DDR5-6400 在 TR PRO 7000 上官方上限 5200，插满更容易掉频，别按 6400 折算带宽。
优势：单核强、PCIe 拆分资料多，后期直接换 9955WX。

B（MZ33-AR1 + EPYC 9B14）

SP5、12 通道，带宽上限比 A 高。8×16G 只占 8 条通道，要带宽就 12 条 1DPC；同频率下 12 条 ≈ 460GB/s，A 的 4 条 5200 ≈ 166GB/s，差在通道数不在频率。
24 根插满降到 3600（2DPC），容量上去了但带宽 ≈345GB/s，反而低于 12 条 4800——「插满」和「带宽」不是一回事：要容量就插满，要带宽就 12 条 1DPC。
192 线程对纯 GPU 推理是浪费；服务器板 CPU 被动散热、要强风道，BIOS/售后也偏冷门。

结论：只跑 GPU 就选 A（或更便宜的 B 低配），CPU 够喂卡即可；确定要 CPU 卸载再上 B 并把 12 通道插满。两套都别忘了 4×R9700 ≈1200W，电源按 2000W 级备、风道按 1.2kW 纯显卡热设计。

Name Error

MZ23-SU0-rev-3x

EPYC 9005 下 MZ23 官方支持 6400 MT/s

综合看来，倾向于 MZ33-AR1 + EPYC 9B14 方案了

【B配置：共100600】
显卡：【¥48000】4 张 R9700
主板：【¥5500】GIGABYTE MZ33-AR1
CPU：【¥7500】EPYC 9B14
内存：【¥39600】12 根 16GB DDR5-4800 ECC RDIMM

applejuice

我想问这个价钱
6000 pro +64gb 内存不好吗？

Name Error

@applejuice

显卡：【¥130000】pro6000
内存：【¥15000】2 根 32GB DDR5-6400
主板+CPU：【预算¥12000】

合计：¥157000

未包含散热、电源、存储、机箱

张光璞

@applejuice 说:

我想问这个价钱
6000 pro +64gb 内存不好吗？

6000 pro 得贵一倍吧

David Chen

貴爆....都用到服務器主板了，剛剛被那ECC記憶體價格嚇一跳，結果顯卡是便宜貨..........太奇怪的組合了

Bunsei

看了一圈感觉.. 可能顶配 Mac Studio 才是更好的选择。

张光璞

@Bunsei 说:

看了一圈感觉.. 可能顶配 Mac Studio 才是更好的选择。

苹果的商单里全是全Qwen27B的，我不信他们不想跑deepseek flash.

张光璞

@Bunsei 说:

看了一圈感觉.. 可能顶配 Mac Studio 才是更好的选择。

mac studio 不要求别的，能跑到双DGX spark 的 DS flash 的水平多出来的3万多都是值的。

鍾子揚

@张光璞 Youtube Video

影片來源

影片連結：http://www.youtube.com/watch?v=UyEbXIQZvnY
頻道名稱：Alex Grankin
影片標題：M5 Ultra Is Out — Let's See How Good It Is for Local AI

硬體規格數據 [01:05]

CPU 核心數量：36 核心
GPU 核心數量：80 核心
記憶體頻寬：1.2 TB/s（1,200 GB/s），對比 M3 Ultra 增長 50%，達 M5 Max 之 2 倍 [01:05]
統一記憶體規格：96 GB 至 512 GB（512 GB 版本上市時程為 10 月）[01:16]
評測機型配置：256 GB 統一記憶體、4 TB 儲存空間，售價標示 12,000 至 13,000 美元 [02:07]

本地語言模型生成速度（Writing Speed）[02:45]

說明：生成速度取決於記憶體頻寬，衡量指標為每秒 Token 數量（tokens/s）。

測試模型：Qwen 3.8 27B（4-bit）[03:50]

硬體晶片	輸出速度（tokens/s）	備註說明
RTX 5090	60	獨立顯示卡數據 [05:11]
M5 Ultra	46 至 54（平均值 48）	速度超越 M3 Ultra 達 50% 至 100% [04:16]
M5 Max	30	效能等同 M3 Ultra [04:46]
M3 Ultra	30	前代晶片數據 [04:46]
M4 Max	23	筆電晶片數據 [04:46]
M6 Mac Mini	10	入門機型數據 [04:46]

六邊形生成任務測試（16,500 Token 總輸出量）[06:25]：

RTX 5090：耗時 5.0 分鐘
M5 Ultra：耗時 5.7 分鐘
M5 Max / M3 Ultra：耗時 9.0 分鐘
M6 Mac Mini：耗時 28.0 分鐘

提示詞讀取處理速度（Reading Speed）[07:19]

說明：讀取處理速度取決於 GPU 運算核心效能與神經網路加速單元，與記憶體頻寬關聯度低。

對比 M3 Ultra 讀取效能增長 [08:03]：

各項模型讀取速度提升幅度介於 2 倍至 4 倍。

32,000 Token 上下文讀取耗時 [08:36]：

M5 Ultra：耗時 19 秒
M5 Max：耗時 39 秒
M3 Ultra：耗時 77 秒

首字生成延遲時間（Time to First Token, TTFT）[10:18]：

8,000 Token 上下文：耗時 10 秒 [10:26]
32,000 Token 上下文：耗時 42 秒 [10:26]
256,000 Token 上下文：M5 Ultra 耗時 100 秒，M3 Ultra 耗時 250 秒 [11:06]

上下文視窗（Context Window）對輸出速度之影響 [12:19]

說明：擴展上下文長度增加記憶體佔用量，導致寫入速度下降。

M5 Ultra 執行 Qwen 3.8 27B 速度變化（MLX 架構）[12:29]：

8,000 上下文：48 tokens/s
64,000 上下文：39 tokens/s
128,000 上下文：32 tokens/s
256,000 上下文：24 tokens/s
上下文由 8,000 擴展至 256,000，速度衰退幅度達 50% [12:58]

GGUF 格式在 128,000 上下文環境表現 [13:52]：

M5 Ultra：30 tokens/s
M4 Max：8 至 9 tokens/s
DGX Spark：8 至 9 tokens/s

特定模型實測表現 [14:30]

Qwen 3.8 Flash Next：架構優化帶來高速運算，輸出速度達 91 至 100 tokens/s [14:36]
GLM 5.3 Flash：256 GB 記憶體機型支援上限為 128,000 上下文（速度 32 tokens/s）；256,000 上下文導致記憶體耗盡（OOM）限制 [14:44]

硬體選購建議與定位分析 [16:21]

M5 Ultra 與 RTX 5090 比較 [16:53]：RTX 5090 具備速度優勢（60 tokens/s 對比 48 tokens/s）。組裝多張 RTX 5090 達成 256 GB 記憶體規格需要承擔高額設備花費、電力負擔、散熱負擔與運轉噪音；M5 Ultra 具備高容量統一記憶體與靜音運作優勢。
M5 Ultra（96 GB）與 M5 Max（128 GB）比較 [17:36]：M5 Ultra 具備頻寬與提示詞處理速度優勢。模型記憶體需求低於 96 GB 之情境，M5 Ultra 效能表現超越 M5 Max。
M6 Mac Mini 定位評估 [20:05]：記憶體容量上限為 32 GB，生成速度為 10 tokens/s，缺乏本地大型模型執行效益，排除於 AI 採購清單。
本地部署與雲端 API 成本對比 [18:37]：M5 Ultra 頂規購買金額等同多年 Claude 或 OpenAI 雲端服務訂閱費用；本地設備核心價值在於資料隱私掌控。

张光璞

我不明白（奉化口音），为什么第一波放出来的mac 测评全部用 Qwen27B 4bit 。

256G 1.2T/s 的内存带宽就干这个？

张光璞

我觉得这个才是你的真爱：
https://huggingface.co/tcclaviger/Qwen3.8-Flash-Next-MXFP4-FP8

抡锤者