想买两台华硕 DGX 跑 V4，论坛大神给个建议吧
-
最近准备认真折腾一下本地 AI，目标比较明确：想上两台华硕 DGX Spark，组起来跑 DeepSeek V4。
目前纠结的点主要是：两台 DGX Spark 到底值不值得直接上，以及实际跑 V4 的体验究竟怎么样。
我现在手上也有一张 48GB 显存的 4090，跑一些 20B～30B 级别模型没什么问题，但到了 V4 这种级别，单卡基本就不用想了。看了 DGX Spark 的资料，两台机器可以通过高速网络互联，所以理论上可以把显存和算力组合起来跑更大的模型。
但我比较担心的是：理论性能和实际性能可能完全是两回事。
尤其是 V4 这种超大 MoE 模型，除了显存容量，真正影响速度的还有 GPU、内存带宽、节点之间的互联带宽、推理框架以及多机通信效率。
所以想请论坛里的大神帮忙判断一下：
- 两台 DGX Spark 跑 V4，实际生成速度大概能到多少 token/s？
- 两台之间用 200G 网络互联，实际通信效率怎么样？
- 跑 V4 的时候，两台机器是比较接近“线性叠加”，还是通信开销会吃掉很多性能？
- 如果主要用途是编程、Agent、长上下文和日常本地 AI，两台 DGX Spark 是否值得？
- 有没有已经实际部署过 V4 的朋友，能分享一下真实测试数据？
- 如果现在买，华硕、技嘉、微星等不同品牌的 DGX Spark，散热、SSD、稳定性方面有没有明显区别？
- 1TB 版本是不是就够了？后面自己升级 SSD 是否更划算？
我不是单纯想追求“能不能跑起来”，更关心的是跑起来之后到底好不好用。
如果两台 DGX Spark 能把 V4 跑到一个比较舒服的速度，那我觉得还是挺有吸引力的；但如果实际只有几十 token/s，而且多机通信损耗比较大，那可能就要重新考虑了。
所以想请各位真正折腾过 DGX Spark、多机推理或者 V4 的大神给点建议。
预算倒不是最大的问题，主要是不想花钱买回来以后发现实际体验和想象差太多。
欢迎直接劝退，也欢迎晒实测数据
两台 DGX Spark 跑 V4，到底是不是目前个人/小工作室比较靠谱的方案？
@Bukong-Li V4可以跑，你想和在线比肯定不行，小盒子速度慢是算力不足，带宽不足导致的，这个无解，理论性能没有实际测试过的，都是网上查到的，总体上就是能玩，但是不舒服。
-
@Bukong-Li V4可以跑，你想和在线比肯定不行，小盒子速度慢是算力不足，带宽不足导致的，这个无解，理论性能没有实际测试过的，都是网上查到的，总体上就是能玩，但是不舒服。
-
我看了很多 私人搭建这种 全量模型的帖子。
我个人认为都是纯娱乐性质。没有适配的需求环境投入生产都是测模大师。大投入，大折腾，最后出个帖子。有这钱直接在线api 接口用到死都够了。
运行起来也不会比 量化版聪明多少！而且很折腾。需要的调试时间很恐怖。
考虑隐私需求的话。千问 27B 目前没发现需要更高模型的需求。 -
其实楼主大哥 已经比我的认知 多很多了
你已经在玩着 48gb 4090 我才玩 3090
dgx 两台 可以跑多少 我更觉得95% 论坛里的人都不懂
都只能网上看 问ai也没有所谓值不值得，有需求可以负担 都值得
如果说值不值得 那我们全部都只用线上模型就好 别考虑什么性价比
可能dgx 两台也只是楼主的小开销看了你给的链接
2000t/s pp 80t/s decode
我个人觉得是很好了两台 dgx 价值在 可以用ds v4 flash
跑起来不会太慢 可用状态
一百万长上下文
也不会比27b dense 差
一个人用 agent 多并发也可以
大概decode 120t/s？但是prefill 还是很慢
一个人也不可能 6-7个并发吧？两 三个并发 勉强可用比4090 5090 跑dense 当然没那么快
但是同等价值的4090 5090 也跑不到v4 flash至于为什么低带宽 低算力 为什么在v4 flash 场景反而可用 我就不扮厉害了 我的知识从ai 来 你们了解可能都比我好
还是那句话，厂家的刀法很利落
我们只能选 我们只能需要的要更好的用 v4 flash 只能上 6000 pro x2 了
-
DGX Spark 顯存帶寬只有 273.2 GB/s, 比RTX 5060Ti 16GB 還慢
4090 有1000 GB/s
速度和容量兩者取捨的問題, 反正Nvidia 不會讓你滿足的 除非買企業等級的DGX Station 784GB, 但售價是10萬美金起跳 -
我覺得只有 魔改卡符合又大又快的要求 例如RTX 4090 48GB
一台放兩張 96GB , 三張144GB, 四張 192GB目前Nvidia 的消費級市場區隔大概是
128GB 大又慢 300GB/s (是可以多台組在一起變快 有多快要問用過的人)
16GB 小但是有點快 900GB/s (RTX5070Ti, RTX5080)
32GB 大點用得爽(滿足各類需求) 速度超級快 1790 GB/s 但是溢價翻倍 (5090/RTX Pro 6000)這樣他才能用不同的規格吸引各類消費族群購買
Nvidia 本來規劃要出 5070 Ti, 5080 Super 24GB(第一個容量甜蜜點) 版本 但是VRAM太貴了 目前暫時沒看到要上市的消息
-
我已經用了好一陣子了, coding中速度30~70不定, pp約2000.
我來回答你的問題:
1. 两台 DGX Spark 跑 V4，实际生成速度大概能到多少 token/s？
測速約40~50, 實際coding使用視狀況約落在30~70不等.
2. 两台之间用 200G 网络互联，实际通信效率怎么样？
這有點複雜, 他每一個port有兩個rail, 各100G, 你可以用100G或200G, 看怎麼設. 我是用100G, 看他實際也沒用到100G, 就沒去搞200G了. 實測iperf約97G
3. 跑 V4 的时候，两台机器是比较接近“线性叠加”，还是通信开销会吃掉很多性能？
因為一台跑不了正常V4 flash, 所以沒辦法比較. 不過照之前別的模型的經驗,兩台速度約為一台的1.5倍左右. 我之前也跑過4台,速度又比兩台快上不少
4. 如果主要用途是编程、Agent、长上下文和日常本地 AI，两台 DGX Spark 是否值得？
我只用來編程, 主要是驅動韌體的開發跟debug, 跑claude code或codex cli , 兩台實際上約可以並行6個ctx 500K的session. 使用上是夠順了, 就看智力跟能力符不符合你的需求, 我是覺得不到優秀,但是堪用.
5. 有没有已经实际部署过 V4 的朋友，能分享一下真实测试数据？
6. 如果现在买，华硕、技嘉、微星等不同品牌的 DGX Spark，散热、SSD、稳定性方面有没有明显区别？
1TB 版本是不是就够了？后面自己升级 SSD 是否更划算？
我有華碩跟技嘉的, 感覺差不多. 兩台的話還好,反正也跑不了多大模型, 選擇也不多. 1T應該可以,有需要日後再換就好. 如果只用來跑模型的話, 速度瓶頸在頻寬, 長時間不間斷運轉可以考慮GPU降頻跑不會影響pp跟t/s太多, 溫度跟功耗會下降不少最後應該考慮的是, 是否真的有這個需求? 這需要從用量跟隱私方面評估了. 兩台GB10不便宜, 漲價後更是誇張. 若是用量沒那麼多, 兩台GB10可能可以抵過10年的線上費用, 隱私又沒問題的話, 可以考慮線上使用就好. 本地用起來是舒適, 線上的是飛快, 爽度還是有差.
感谢指出，这确实是个问题