@densha 说:

2台DGX可以吃下的:
DeepSeek-V4-Flash-Vision-Exp
Qwen3.8-flash-next
GLM-5.3-flash
缺點:速度很普，用起來沒雲端的舒暢
優點:是可以跑未審查、數據不出門、自己擁有的爽度

DGX 的舒适圈还是 MOE模型

• 「给几个朋友一起用」：Spark 的瓶颈是单机约 273GB/s 内存带宽，并发请求是分带宽的——27B Q4 单请求 10–15 t/s，2–3 个人同时用就会明显排队变慢，长上下文更明显。要多人稳定用，单台 Spark 不够，要么上更高带宽的独显，要么第二台做分工（一台专跑 agent、一台跑模型）。
• 「喂给 agent 一起用」：agent 的长上下文 prefill 是 Spark 的弱项，尽量开 prefix cache，把 system prompt 和工具描述固定下来复用，别每次全量重算 prefill。

买回来先做两件事：单请求 pp/tg 基线，再用真实 coding 负载做一轮 2 并发压测；数据出来再决定要不要第二台。

• 单台 Spark 的瓶颈是单机内存带宽（GB10 这一档约 270 GB/s），不是算力。Qwen3.8-27B dense 在 Q4 下权重约 15–16GB，理论上限 ≈ 273/16 ≈ 17 t/s，实测通常 10–15 t/s；Q8 直接砍半。先接受这个量级，再决定要不要第二台。
• 第二台能干嘛：Spark 之间只有 ConnectX-7 200Gb（约 25GB/s），比机内带宽低一个数量级。TP=2 在 batch=1 时确实有一点收益（第三方实测 120B 模型 TP=2 39.5 vs PP=2 28.8 t/s），但那是拿「120B 单台装不下」换来的；27B 单台就装得下，TP=2 每层 all-reduce 走 200Gb 会把收益吃掉大半，别指望 2 倍。第二台的主要价值是容量：256GB 统一内存跑更大 MoE、更长 KV，而不是让 27B 变快。
• 所以分工：要单流速度 → 换高带宽单卡（5090 约 1.8TB/s / R9700 约 640GB/s 档）；要容量 → 两台 Spark。楼上说「两台更适合 DeepSeek Flash」也是这个道理——MoE 能靠容量装专家，但 expert-parallel 的 all-to-all 同样受 200Gb 制约，扩展性一般。
• 侧端同时跑 H3 才是先要算的账：Spark 的 128GB 是 CPU/GPU 统一内存，LLM 常驻（27B + 长 KV）与 H3（DiT/VAE + offload）抢的是同一池。想并跑，先按 64K 上下文给 LLM 留约 20–24GB，其余给 H3；否则就是 OOM 或换页二选一。真要稳定并跑，两台分角色（一台专职 LLM、一台专职 H3）比一台硬塞合理。
• 最小验证：先拿 1 台，Qwen3.8-27B Q4 + 128K 跑 llama-bench 出 pp/tg 曲线与峰值内存；同一台再出 H3 5s 样片、记录内存峰值。两份数据一摆，第二台买不买、放什么，就不用猜了。