Asus Ascent GX10到货，双gb10的DSV4-Flash集群全程hermes远程部署

[benton yi]

服务器太吵了，只开个qwen3.8+hermes也不适合7x24小时不停机，正好苹果发布新品，连夜做了一些功课之后还是押注绿厂了，搞了两台小主机，准备把干活模型升级到DSV4，说干就干。

说全程远程部署着实是标题党，开机之后还是接了键鼠显示器，按照官网指南进行初始化配置连网更新，配置了固定ip就直接把外设包括显示器都拆了，用飞书遥控服务器的hermes远程配置小主机。
得益于qwen3.8-27b着实可靠，过程非常顺利。其中遇到了小主机访问不了外网，自己配置服务器的clash代理给两台小主机更新docker，下载DSV4配方包，再解压配置两台之间的ssh密钥，测试qsfp网速，然后就直接把DSV4开起来了，全程没让我插手。体验简直惊艳。

file:///home/bentonyi/文档/xwechat_files/bentonez_e4c6/temp/RWTemp/2026-09/09fef7517ddb4143df3ea7e81576d5f9.png

同时用DSH和Hermes给他下任务同时跑，性能也是非常不错：

温度和功率倒也不是很高，以后高负载的时候我再更新一个
file:///home/bentonyi/文档/xwechat_files/bentonez_e4c6/temp/RWTemp/2026-09/f5b567aaf4f918ed727170f8aa1e8fac.png

[applejuice]

除了外观不能装b 没有其他可谈了.
prefill 多少？

[怪叔叔]

上周帮客户部署了一套华硕的。这个还是两台最有性价比。

[Tony Wang]

这个真不错, 同问prefill, 量化, 以及长上下文之后的decode.

发个详细的测试结果?

小主机的方案对于我这种主要是LLM需求的, 还是挺有吸引力的.

[KAKAHermes]

留言希望看測試結果

[kos or]

我喜歡第一張照片的意境 傳統和現代文明的相襯 真的很奇妙

[zhenyu huang]

好厉害 同问测试数据

[soop ladios]

我有八月初裝的時候的測試數據可以參考:

[kop wang]

我有个想法，从目前的 https://artificialanalysis.ai/models 的跑分榜单来看，其实Qwen3.8-flash-next的能力是高于deepseek-v4-flash-0731的。

所以是不是双GB10跑Qwen3.8-flash-next能获得更好的pp和tg的性能表现。

[Xiaote]

@kop-wang 双 GX10 跑 Qwen3.8-Flash-Next，pp 和 tg 要分开看，结论先说：双机不会让单请求的 decode 变快。

关键在 MoE 的 decode 是带宽瓶颈不是算力瓶颈：每生成一个 token，要从内存读一遍"活跃参数"。GX10（和 DGX Spark 同源）内存带宽约 273GB/s（LPDDR5X）。

• Qwen3.8-Flash-Next 约 176B 总参、MoE 每 token 只激活约 18B，NVFP4 量化后整模型约 90-100GB，单台 128GB 的 GX10 就装得下；
• DS-V4-Flash 约 284B/13B 活跃，官方 FP4 权重约 168GB，单台装不下，这才是双机的理由（容量）；
• decode 速度上限 ≈ 活跃参数字节数 ÷ 带宽。Flash-Next NVFP4 每 token 读约 10GB → 单机理论 ~25 t/s 上限、实际 15-20；双机时每个请求仍只跑一台，带宽不会叠加。

双机真正的收益只有三样：

1. 容量：装 168GB 级的 DS-V4-Flash（楼主两台跑 DSV4 就是这个原因）；
2. 并发：两个请求各占一台，总吞吐翻倍；
3. prefill：吃算力，若做跨机并行确实更快。

别指望跨机 tensor parallel 提速 decode：MoE 的 TP 每个 token 都要 all-to-all 交换 expert 输出，跨机走以太网就是新瓶颈（坛里 RDNA TP 无 P2P 反负优化的实测 TID:1438 是同一个道理）。

另外 AA 榜单的能力排序是云端/API 配置下的数字，和本地量化部署的速度是两回事。按你现在的两台机器：Flash-Next 单台就能跑、DS-V4-Flash 必须双台，这个分工比榜单排位更影响实际使用。

[benton yi]

@tony-wang 模型就是Deepseek-ai发布的原生FP8+NVFP4量化模型，模型卡https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash-0731

这是在用hermes一边计划对齐部署glm5.3-flash方案，一边在用DSH做早课的2并发时候的实际场景decode截图，最高单会话能上到76.7t/s，最低也有35+保底。

这是让hermes读魔搭的glm5.3-flash几个不同版本的模型卡页面，pp大概在1600～2500之间浮动。

上图是工作界面，之后会把glm5.3-flash的实际使用评测也发进来。

[Tony Wang]

这个体验已经不错了, 完全可用

[kop wang]

pp1500~2500，tg60~70还不错。

6~7万，就能部署一个头部能力的全尺寸模型。响应能力、kvcache容量都是可用级别。
放在半年前都像做梦一样。

主要是双GB10的RAM比较富裕，多session并行切换也不会频繁重复prefill。
所以prefill稍慢也不是不行。

而且据测试，GB10的prefill性能随context膨胀的下降趋势不明显。

[soop ladios]

@kop-wang
qwen 3.8 flash next NVFP4一台就可以跑了, 參考 https://github.com/blazux/qwen3.8-Flash-DGX
pp大概1500-2000 tok/s , decode 約 30 tok/s , KV cache大概有630K. 我跑了一周左右吧, 很穩定, 用codex cli長鍊loop工作數天沒什麼問題.
兩台其實也可以跑glm 5.3 flash的 https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark

[kop wang]

@soop-ladios 我考虑是双台是不是可以有更好的prefill和decode表现，从而让双机GB10的性价比再提高一个级别。

毕竟30的tg/s还是稍逊了一点。

[terry]

论坛非常需要的一手数据，虽然是大型炫富现场，但是可以再多发点实测数据。这个两台能跑V4 Flash确实有点离谱，有SGLang的加持，Radix缓存树和DSpark都可以缓解带宽压力。

[soop ladios]

@kop-wang
我是沒用兩台跑過qwen 3.8 flash next, 機器都拿去跑別的模型了. 照以往的經驗, 兩台大概可以提昇1.3~1.5倍左右的速度.
這邊有一台用SGLang跑出43 tok/s平均速度的可以參考 https://github.com/azampatti/GB10-3.8-Flash-Next

也有人兩台跑vllm的nvfp4可以參考:

[kos or]

@kop-wang said:

6~7万，就能部署一个头部能力的全尺寸模型。响应能力、kvcache容量都是可用级别。
放在半年前都像做梦一样。

請問半年前是什麼場景呢？ 我是Qwen3.6 才開始研究Local LLM的

[terry]

@kos-or 半年前还没有Qwen3.5，我刚做这个频道的时候，能跑Agent的模型我感觉只有Claude opus 4.6，GPT都不够格。现在是Qwen3.8 27b比肩Opus 4.6的时代。

[张光璞]

B站有个哥们，现在已经有6台DGX了，他自己实测发现，两台dxg 和 deepseek v4 flash 是绝配。

相比下M3 ultra 脱离了聊天就直接拉了，算力不够，空有高带宽 。