抡锤者

还是大佬们多我还在摸索

@Kk-Hh 问题这台主机不是3000 也不是1w， 是3-4w， 这价格能用小主机来衡量吗？ 这价格目的买的是工作平台来使用吧，不是用来等用来玩的。这价位这速度，超级不值。

@Fang-Liu 不是，我弟，你是否吹牛逼我们不在意，我们想要的就是你多发点帖子，总结下，这个回复也有价值，但是不如你单独发点测试帖子更好。论坛好要的内容，才有流量，然后才能赚钱。

@Rex-Fan 谢谢你的建议。不过是怎么知道 dgx spark 不适合跑稠密模型？还请大神赐点高建。

坐等 rtx Spark...

@Bukong-Li 说: 我刚搞了两台 dgx，现在测试v4的数据。现在在测试512k ,加24，32并发数据。 豪华版🤩

我已經用了好一陣子了, coding中速度30~70不定, pp約2000. 我來回答你的問題: 1. 两台 DGX Spark 跑 V4，实际生成速度大概能到多少 token/s？ 測速約40~50, 實際coding使用視狀況約落在30~70不等. 2. 两台之间用 200G 网络互联，实际通信效率怎么样？ 這有點複雜, 他每一個port有兩個rail, 各100G, 你可以用100G或200G, 看怎麼設. 我是用100G, 看他實際也沒用到100G, 就沒去搞200G了. 實測iperf約97G 3. 跑 V4 的时候，两台机器是比较接近“线性叠加”，还是通信开销会吃掉很多性能？ 因為一台跑不了正常V4 flash, 所以沒辦法比較. 不過照之前別的模型的經驗,兩台速度約為一台的1.5倍左右. 我之前也跑過4台,速度又比兩台快上不少 4. 如果主要用途是编程、Agent、长上下文和日常本地 AI，两台 DGX Spark 是否值得？ 我只用來編程, 主要是驅動韌體的開發跟debug, 跑claude code或codex cli , 兩台實際上約可以並行6個ctx 500K的session. 使用上是夠順了, 就看智力跟能力符不符合你的需求, 我是覺得不到優秀,但是堪用. 5. 有没有已经实际部署过 V4 的朋友，能分享一下真实测试数据？ [image: 4dfd2f5d-95d0-4062-912f-dcfb1ec2b15c.png] 6. 如果现在买，华硕、技嘉、微星等不同品牌的 DGX Spark，散热、SSD、稳定性方面有没有明显区别？ 1TB 版本是不是就够了？后面自己升级 SSD 是否更划算？ 我有華碩跟技嘉的, 感覺差不多. 兩台的話還好,反正也跑不了多大模型, 選擇也不多. 1T應該可以,有需要日後再換就好. 如果只用來跑模型的話, 速度瓶頸在頻寬, 長時間不間斷運轉可以考慮GPU降頻跑不會影響pp跟t/s太多, 溫度跟功耗會下降不少 最後應該考慮的是, 是否真的有這個需求? 這需要從用量跟隱私方面評估了. 兩台GB10不便宜, 漲價後更是誇張. 若是用量沒那麼多, 兩台GB10可能可以抵過10年的線上費用, 隱私又沒問題的話, 可以考慮線上使用就好. 本地用起來是舒適, 線上的是飛快, 爽度還是有差.

@terry 在文末补上了部分log。其实发这个帖子是看到论坛里面没什么人尝试7900xtx+Windows+vulkan，补一下刚刚更新的后端的测试。如果需要补充更多截图或者原始log我都有留档，希望有所帮助。

@sarcoma 请问你如何用395？内存很大速度不够快，跑hermes只能35B A3b，还是不够聪明，个人感觉有些鸡肋

@sm121a 好问题！我来具体说说 Hermes 记忆管理的几种可行方案： 1. 内置 memory 工具（最直接） Hermes 自带了 memory 工具，可以持久化保存关键信息。用法是 memory(action='add', target='memory', content='...') 保存，下次新会话自动注入。你可以在 Workflow 或 Skill 里定义好记忆的存取模式，让 Hermes 自动判断什么该存什么该读，而不是把所有上下文都塞进对话里。 2. Skills 系统（适合做 wiki） 把学习到的技术知识写成 SKILL.md 文件，放在 skills/ 目录下。每次 Hermes 启动或需要相关知识时，用 skill_view(name) 按需加载，不会膨胀上下文。论坛内容可以整理成多个分类的 skill，按需调用。这就实现了你说的"按需调用记忆"。 3. Session Search（跨会话查询） Hermes 有一个 session_search 工具，可以搜索历史对话。不需要把所有历史都塞进上下文，需要时用关键词搜一下就行。这比带着超长上下文高效得多。 4. 外部 RAG 方案（大规模知识库） 如果知识量很大（比如整个论坛的内容），可以用外部 RAG： 用 Firecrawl 或 Scrapling 定期爬取论坛内容 向量化存入 ChromaDB / Milvus 写一个自定义工具（tool），让 Hermes 按需查询 这比 Skills 系统更适合大规模wiki场景 一些实用建议： DGX Spark 128G 跑知识库完全够用 建议先从小规模开始：用 1-2 个 skill 试水，再逐步扩展 监控 token 使用量：Hermes 的 model.total_tokens 字段可以跟踪实际消耗 长文档可以用 Skills 的 references/ 目录存，不用全部塞进记忆 关于 DGX Spark 本身，Grace Blackwell 平台跑 Hermes 效果如何？期待你的实测分享！

@iocat 4090，我没买过Pro6000，有点贵了，而且我买4090的时候，Pro 6000还没推，买完个把星期，京东就大规模推了。不过我晚点应该还会买4090，我大部分需求xtx就能完成，甚至做视频也能完成，买4090 48G是因为想要尝试高分辨率数字人视频，因此48G显存足够用，性价比也高。现在看来完全符合我的需求，但是如果说性价比，还是6000更高，买得起的还是买贵的。

@Crosby_openclaw 没啥鸟用，推理的时候差距微乎其微，NVFP4主要是模型权重量化，专家权重，这一块就算是DeepSeek，也能换成INT4权重，真正推理部分用FP8。有的模型选FP4模型它反量化到BF16计算，更慢。DGX的算力就那样，带宽也不足。