Asus Ascent GX10到货，双gb10的DSV4-Flash集群全程hermes远程部署

[Tony Wang]

这个真不错, 同问prefill, 量化, 以及长上下文之后的decode.

发个详细的测试结果?

小主机的方案对于我这种主要是LLM需求的, 还是挺有吸引力的.

[KAKAHermes]

留言希望看測試結果

[kos or]

我喜歡第一張照片的意境 傳統和現代文明的相襯 真的很奇妙

[zhenyu huang]

好厉害 同问测试数据

[soop ladios]

我有八月初裝的時候的測試數據可以參考:

[kop wang]

我有个想法，从目前的 https://artificialanalysis.ai/models 的跑分榜单来看，其实Qwen3.8-flash-next的能力是高于deepseek-v4-flash-0731的。

所以是不是双GB10跑Qwen3.8-flash-next能获得更好的pp和tg的性能表现。

[Xiaote]

@kop-wang 双 GX10 跑 Qwen3.8-Flash-Next，pp 和 tg 要分开看，结论先说：双机不会让单请求的 decode 变快。

关键在 MoE 的 decode 是带宽瓶颈不是算力瓶颈：每生成一个 token，要从内存读一遍"活跃参数"。GX10（和 DGX Spark 同源）内存带宽约 273GB/s（LPDDR5X）。

• Qwen3.8-Flash-Next 约 176B 总参、MoE 每 token 只激活约 18B，NVFP4 量化后整模型约 90-100GB，单台 128GB 的 GX10 就装得下；
• DS-V4-Flash 约 284B/13B 活跃，官方 FP4 权重约 168GB，单台装不下，这才是双机的理由（容量）；
• decode 速度上限 ≈ 活跃参数字节数 ÷ 带宽。Flash-Next NVFP4 每 token 读约 10GB → 单机理论 ~25 t/s 上限、实际 15-20；双机时每个请求仍只跑一台，带宽不会叠加。

双机真正的收益只有三样：

1. 容量：装 168GB 级的 DS-V4-Flash（楼主两台跑 DSV4 就是这个原因）；
2. 并发：两个请求各占一台，总吞吐翻倍；
3. prefill：吃算力，若做跨机并行确实更快。

别指望跨机 tensor parallel 提速 decode：MoE 的 TP 每个 token 都要 all-to-all 交换 expert 输出，跨机走以太网就是新瓶颈（坛里 RDNA TP 无 P2P 反负优化的实测 TID:1438 是同一个道理）。

另外 AA 榜单的能力排序是云端/API 配置下的数字，和本地量化部署的速度是两回事。按你现在的两台机器：Flash-Next 单台就能跑、DS-V4-Flash 必须双台，这个分工比榜单排位更影响实际使用。

[benton yi]

@tony-wang 模型就是Deepseek-ai发布的原生FP8+NVFP4量化模型，模型卡https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash-0731

这是在用hermes一边计划对齐部署glm5.3-flash方案，一边在用DSH做早课的2并发时候的实际场景decode截图，最高单会话能上到76.7t/s，最低也有35+保底。

这是让hermes读魔搭的glm5.3-flash几个不同版本的模型卡页面，pp大概在1600～2500之间浮动。

上图是工作界面，之后会把glm5.3-flash的实际使用评测也发进来。

[Tony Wang]

这个体验已经不错了, 完全可用

[kop wang]

pp1500~2500，tg60~70还不错。

6~7万，就能部署一个头部能力的全尺寸模型。响应能力、kvcache容量都是可用级别。
放在半年前都像做梦一样。

主要是双GB10的RAM比较富裕，多session并行切换也不会频繁重复prefill。
所以prefill稍慢也不是不行。

而且据测试，GB10的prefill性能随context膨胀的下降趋势不明显。

[soop ladios]

@kop-wang
qwen 3.8 flash next NVFP4一台就可以跑了, 參考 https://github.com/blazux/qwen3.8-Flash-DGX
pp大概1500-2000 tok/s , decode 約 30 tok/s , KV cache大概有630K. 我跑了一周左右吧, 很穩定, 用codex cli長鍊loop工作數天沒什麼問題.
兩台其實也可以跑glm 5.3 flash的 https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark

[kop wang]

@soop-ladios 我考虑是双台是不是可以有更好的prefill和decode表现，从而让双机GB10的性价比再提高一个级别。

毕竟30的tg/s还是稍逊了一点。

[terry]

论坛非常需要的一手数据，虽然是大型炫富现场，但是可以再多发点实测数据。这个两台能跑V4 Flash确实有点离谱，有SGLang的加持，Radix缓存树和DSpark都可以缓解带宽压力。

[soop ladios]

@kop-wang
我是沒用兩台跑過qwen 3.8 flash next, 機器都拿去跑別的模型了. 照以往的經驗, 兩台大概可以提昇1.3~1.5倍左右的速度.
這邊有一台用SGLang跑出43 tok/s平均速度的可以參考 https://github.com/azampatti/GB10-3.8-Flash-Next

也有人兩台跑vllm的nvfp4可以參考:

[kos or]

@kop-wang said:

6~7万，就能部署一个头部能力的全尺寸模型。响应能力、kvcache容量都是可用级别。
放在半年前都像做梦一样。

請問半年前是什麼場景呢？ 我是Qwen3.6 才開始研究Local LLM的

[terry]

@kos-or 半年前还没有Qwen3.5，我刚做这个频道的时候，能跑Agent的模型我感觉只有Claude opus 4.6，GPT都不够格。现在是Qwen3.8 27b比肩Opus 4.6的时代。

[张光璞]

B站有个哥们，现在已经有6台DGX了，他自己实测发现，两台dxg 和 deepseek v4 flash 是绝配。

相比下M3 ultra 脱离了聊天就直接拉了，算力不够，空有高带宽 。

[kos or]

@terry said:

半年前还没有Qwen3.5

在Hermes 四月份出現之前, 我大概頂多只是看新聞, 看了兩個月的OpenClaw熱潮,
逛帖子也頂多上一些Reddit 論壇 看大家聊AI未來10~20年的發展
沒想到半年內就出了 Qwen3.5, Qwen3.6, Qwen3.8

[densha]

這是昨天請 hermes (gemini-3.7-flash-high) 在雙GX10跑的測試做出來的比較，沒有很嚴謹(因為題目是它幫我想的XD)，大家看看就好~

[iamvirus]

我早就说过两台GB10 跑DS V4是目前最好的本地方案了。几乎本地95%的工作不要在线了。