4卡r9700应该选择 WRX90E-SAGE 还是 MU72-SU0 主板？
-
我的目标模型是：
qwen3.8 27b 【目前来看属于纯 GPU 推理】
qwen3.8 flash 【这个模型需要 CPU 卸载吗，在我当前的4卡r9700条件下，内存条根据实际情况不限制增加】3.8 flash 应该是正好放进模型，其他的啥都放不了了。
125GB 权重
-
@cxin 對內存的頻率要求高嗎？比如GIGABYTE MZ33-AR1可以插滿24根內存條，但是會降速。
-
接着 A/B 两套配置，把「板 + CPU + 内存」放一起看，先写死用途再选：
先定路线
- 纯 GPU 推理（权重全进 4×R9700）：A、B 的 CPU 型号和内存频率对 pp/tg 基本没区别，钱该花在 PCIe 拓扑（4 槽 CPU 直连、同一 NUMA、≥x8）和电源/散热上。
- 走 CPU 卸载（llama.cpp/ROCm 把 MoE 专家或 KV 放内存）：B 的 12 通道 + 24 DIMM 才有意义，A 只插 4 根 = 只用到 4/8 通道。
A（WRX90E + 7955WX）
- sTR5、8 通道。你只插 4×32G，等于 4 条通道在工作；真要 CPU 卸载就至少插满 8 根，别只插 4。
- DDR5-6400 在 TR PRO 7000 上官方上限 5200，插满更容易掉频，别按 6400 折算带宽。
- 优势：单核强、PCIe 拆分资料多，后期直接换 9955WX。
B（MZ33-AR1 + EPYC 9B14）
- SP5、12 通道，带宽上限比 A 高。8×16G 只占 8 条通道，要带宽就 12 条 1DPC；同频率下 12 条 ≈ 460GB/s，A 的 4 条 5200 ≈ 166GB/s，差在通道数不在频率。
- 24 根插满降到 3600（2DPC），容量上去了但带宽 ≈345GB/s，反而低于 12 条 4800——「插满」和「带宽」不是一回事：要容量就插满，要带宽就 12 条 1DPC。
- 192 线程对纯 GPU 推理是浪费；服务器板 CPU 被动散热、要强风道，BIOS/售后也偏冷门。
结论：只跑 GPU 就选 A（或更便宜的 B 低配），CPU 够喂卡即可；确定要 CPU 卸载再上 B 并把 12 通道插满。两套都别忘了 4×R9700 ≈1200W，电源按 2000W 级备、风道按 1.2kW 纯显卡热设计。
-
EPYC 9005 下 MZ23 官方支持 6400 MT/s
综合看来，倾向于 MZ33-AR1 + EPYC 9B14 方案了
【B配置：共100600】
显卡：【¥48000】4 张 R9700
主板：【¥5500】GIGABYTE MZ33-AR1
CPU：【¥7500】EPYC 9B14
内存：【¥39600】12 根 16GB DDR5-4800 ECC RDIMM -
-
我想问这个价钱
6000 pro +64gb 内存不好吗？显卡：【¥130000】pro6000
内存：【¥15000】2 根 32GB DDR5-6400
主板+CPU：【预算¥12000】合计：¥157000
未包含散热、电源、存储、机箱
-
我想问这个价钱
6000 pro +64gb 内存不好吗？ -
-
-
-
-
影片來源
- 影片連結：http://www.youtube.com/watch?v=UyEbXIQZvnY
- 頻道名稱：Alex Grankin
- 影片標題：M5 Ultra Is Out — Let's See How Good It Is for Local AI
硬體規格數據 [01:05]
- CPU 核心數量：36 核心
- GPU 核心數量：80 核心
- 記憶體頻寬：1.2 TB/s（1,200 GB/s），對比 M3 Ultra 增長 50%，達 M5 Max 之 2 倍 [01:05]
- 統一記憶體規格：96 GB 至 512 GB（512 GB 版本上市時程為 10 月）[01:16]
- 評測機型配置：256 GB 統一記憶體、4 TB 儲存空間，售價標示 12,000 至 13,000 美元 [02:07]
本地語言模型生成速度（Writing Speed）[02:45]
說明：生成速度取決於記憶體頻寬，衡量指標為每秒 Token 數量（tokens/s）。
測試模型：Qwen 3.8 27B（4-bit）[03:50]
硬體晶片 輸出速度（tokens/s） 備註說明 RTX 5090 60 獨立顯示卡數據 [05:11] M5 Ultra 46 至 54（平均值 48） 速度超越 M3 Ultra 達 50% 至 100% [04:16] M5 Max 30 效能等同 M3 Ultra [04:46] M3 Ultra 30 前代晶片數據 [04:46] M4 Max 23 筆電晶片數據 [04:46] M6 Mac Mini 10 入門機型數據 [04:46] 六邊形生成任務測試（16,500 Token 總輸出量）[06:25]：
- RTX 5090：耗時 5.0 分鐘
- M5 Ultra：耗時 5.7 分鐘
- M5 Max / M3 Ultra：耗時 9.0 分鐘
- M6 Mac Mini：耗時 28.0 分鐘
提示詞讀取處理速度（Reading Speed）[07:19]
說明：讀取處理速度取決於 GPU 運算核心效能與神經網路加速單元，與記憶體頻寬關聯度低。
對比 M3 Ultra 讀取效能增長 [08:03]：
- 各項模型讀取速度提升幅度介於 2 倍至 4 倍。
32,000 Token 上下文讀取耗時 [08:36]：
- M5 Ultra：耗時 19 秒
- M5 Max：耗時 39 秒
- M3 Ultra：耗時 77 秒
首字生成延遲時間（Time to First Token, TTFT）[10:18]：
- 8,000 Token 上下文：耗時 10 秒 [10:26]
- 32,000 Token 上下文：耗時 42 秒 [10:26]
- 256,000 Token 上下文：M5 Ultra 耗時 100 秒，M3 Ultra 耗時 250 秒 [11:06]
上下文視窗（Context Window）對輸出速度之影響 [12:19]
說明：擴展上下文長度增加記憶體佔用量，導致寫入速度下降。
M5 Ultra 執行 Qwen 3.8 27B 速度變化（MLX 架構）[12:29]：
- 8,000 上下文：48 tokens/s
- 64,000 上下文：39 tokens/s
- 128,000 上下文：32 tokens/s
- 256,000 上下文：24 tokens/s
- 上下文由 8,000 擴展至 256,000，速度衰退幅度達 50% [12:58]
GGUF 格式在 128,000 上下文環境表現 [13:52]：
- M5 Ultra：30 tokens/s
- M4 Max：8 至 9 tokens/s
- DGX Spark：8 至 9 tokens/s
特定模型實測表現 [14:30]
- Qwen 3.8 Flash Next：架構優化帶來高速運算，輸出速度達 91 至 100 tokens/s [14:36]
- GLM 5.3 Flash：256 GB 記憶體機型支援上限為 128,000 上下文（速度 32 tokens/s）；256,000 上下文導致記憶體耗盡（OOM）限制 [14:44]
硬體選購建議與定位分析 [16:21]
- M5 Ultra 與 RTX 5090 比較 [16:53]：RTX 5090 具備速度優勢（60 tokens/s 對比 48 tokens/s）。組裝多張 RTX 5090 達成 256 GB 記憶體規格需要承擔高額設備花費、電力負擔、散熱負擔與運轉噪音；M5 Ultra 具備高容量統一記憶體與靜音運作優勢。
- M5 Ultra（96 GB）與 M5 Max（128 GB）比較 [17:36]：M5 Ultra 具備頻寬與提示詞處理速度優勢。模型記憶體需求低於 96 GB 之情境，M5 Ultra 效能表現超越 M5 Max。
- M6 Mac Mini 定位評估 [20:05]：記憶體容量上限為 32 GB，生成速度為 10 tokens/s，缺乏本地大型模型執行效益，排除於 AI 採購清單。
- 本地部署與雲端 API 成本對比 [18:37]：M5 Ultra 頂規購買金額等同多年 Claude 或 OpenAI 雲端服務訂閱費用；本地設備核心價值在於資料隱私掌控。
-
-
-
-
-
显卡：【¥130000】pro6000
内存：【¥15000】2 根 32GB DDR5-6400
主板+CPU：【预算¥12000】合计：¥157000
未包含散热、电源、存储、机箱
@Name-Error 我看错了
看成pro 6000d 7万上下好像 -
@张光璞 好像是 Mac 的 prefill 太慢了。
实际上我研究了4个开源仓库：
https://github.com/tonyd2wild/Qwen38-Flash-Next-4x3090
https://github.com/loktar00/qwen38-flash-next-vllm-3090-recipe
https://github.com/MinChen05/Qwen3.8-Flash-Next-W4A16-4x3090
【r9700方案】https://github.com/rickmellor/qwen3.8-flash-next-rdna4这个不要想，相同工艺，不可能你家又快又省电。 mac这么省电一定会有损失的地方。
现在的商单看个乐。等私人到手后M5 ultra 啥水平就知道了。
我看来看去感觉4卡R9700 才能干得漂亮 。
虽然单卡R9700 跑MXFP4 的Qwen27B 已经非常好了。处于能用，爽用的级别。
双R9700 会更爽一些的多并发。
四卡R9700 + 超大内存，能跑一些flash 模型，向更实用迈进。
-
@Bunsei 考虑过 Mac Studio M5 ultra 512GB，但是我放弃了。我预估要至少2台到4台才能有良好的速度和体验。
-
貴爆....都用到服務器主板了，剛剛被那ECC記憶體價格嚇一跳，結果顯卡是便宜貨..........太奇怪的組合了
@David-Chen 我确实在犹豫要不要买这买多内存，但是用服务器主板的很大因素在于灵活性吧，即使 qwen3.8 flash 模型无法本地运行，那我也可以退而求其次运行 qwen3.8 27b
服务器主板也是相对的便宜很多了，特别是意外发现的 EPYC 9B14 cpu。
内存条的价格让可选面变得非常窄。
