Asus Ascent GX10到货，双gb10的DSV4-Flash集群全程hermes远程部署

[kop wang]

pp1500~2500，tg60~70还不错。

6~7万，就能部署一个头部能力的全尺寸模型。响应能力、kvcache容量都是可用级别。
放在半年前都像做梦一样。

主要是双GB10的RAM比较富裕，多session并行切换也不会频繁重复prefill。
所以prefill稍慢也不是不行。

而且据测试，GB10的prefill性能随context膨胀的下降趋势不明显。

[soop ladios]

@kop-wang
qwen 3.8 flash next NVFP4一台就可以跑了, 參考 https://github.com/blazux/qwen3.8-Flash-DGX
pp大概1500-2000 tok/s , decode 約 30 tok/s , KV cache大概有630K. 我跑了一周左右吧, 很穩定, 用codex cli長鍊loop工作數天沒什麼問題.
兩台其實也可以跑glm 5.3 flash的 https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark

[kop wang]

@soop-ladios 我考虑是双台是不是可以有更好的prefill和decode表现，从而让双机GB10的性价比再提高一个级别。

毕竟30的tg/s还是稍逊了一点。

[terry]

论坛非常需要的一手数据，虽然是大型炫富现场，但是可以再多发点实测数据。这个两台能跑V4 Flash确实有点离谱，有SGLang的加持，Radix缓存树和DSpark都可以缓解带宽压力。

[soop ladios]

@kop-wang
我是沒用兩台跑過qwen 3.8 flash next, 機器都拿去跑別的模型了. 照以往的經驗, 兩台大概可以提昇1.3~1.5倍左右的速度.
這邊有一台用SGLang跑出43 tok/s平均速度的可以參考 https://github.com/azampatti/GB10-3.8-Flash-Next

也有人兩台跑vllm的nvfp4可以參考:

[kos or]

@kop-wang said:

6~7万，就能部署一个头部能力的全尺寸模型。响应能力、kvcache容量都是可用级别。
放在半年前都像做梦一样。

請問半年前是什麼場景呢？ 我是Qwen3.6 才開始研究Local LLM的

[terry]

@kos-or 半年前还没有Qwen3.5，我刚做这个频道的时候，能跑Agent的模型我感觉只有Claude opus 4.6，GPT都不够格。现在是Qwen3.8 27b比肩Opus 4.6的时代。

[张光璞]

B站有个哥们，现在已经有6台DGX了，他自己实测发现，两台dxg 和 deepseek v4 flash 是绝配。

相比下M3 ultra 脱离了聊天就直接拉了，算力不够，空有高带宽 。

[kos or]

@terry said:

半年前还没有Qwen3.5

在Hermes 四月份出現之前, 我大概頂多只是看新聞, 看了兩個月的OpenClaw熱潮,
逛帖子也頂多上一些Reddit 論壇 看大家聊AI未來10~20年的發展
沒想到半年內就出了 Qwen3.5, Qwen3.6, Qwen3.8

[densha]

這是昨天請 hermes (gemini-3.7-flash-high) 在雙GX10跑的測試做出來的比較，沒有很嚴謹(因為題目是它幫我想的XD)，大家看看就好~

[iamvirus]

我早就说过两台GB10 跑DS V4是目前最好的本地方案了。几乎本地95%的工作不要在线了。

[benton yi]

以上截图是今天真实工作场景下的全量日志拿来分析的数据，PP的峰值数据不可信（因为SGLang推理框架的RadixAttention缓存真的优雅又高效），但均值数据确实比vLLM运行DSV4-Flash提高了能有接近4成。

启动参数脚本如下，先在从机运行启动脚本：

docker run -d --name sglang_glm53 --network host --gpus all --shm-size=32g \
  -v /home/bentonyi/LLM/LibertAIDAI/GLM-5.3-Flash-NVFP4:/models/glm53:ro \
  sglang-glm53:gb10 \
  python3 -m sglang.launch_server \
    --model-path /models/glm53 \
    --trust-remote-code \
    --tp-size 2 --nnodes 2 --node-rank 1 \
    --dist-init-addr 10.100.40.2:29500 \
    --attention-backend dsa \
    --dsa-prefill-backend tilelang --dsa-decode-backend tilelang \
    --moe-runner-backend flashinfer_cutlass \
    --kv-cache-dtype bfloat16 \
    --disable-shared-experts-fusion \
    --reasoning-parser glm45 --tool-call-parser glm47 \
    --mem-fraction-static 0.90 \
    --context-length 524288 \
    --max-running-requests 2 \
    --default-chat-template-kwargs '{"reasoning_effort": "low"}' \
    --host 0.0.0.0 --port 8000

主机等6秒运行脚本：

docker rm -f sglang_glm53 2>/dev/null
docker run -d --name sglang_glm53 --network host --gpus all --shm-size=32g \
  -v /home/bentonyi/LLM/LibertAIDAI/GLM-5.3-Flash-NVFP4:/models/glm53:ro \
  sglang-glm53:gb10 \
  python3 -m sglang.launch_server \
    --model-path /models/glm53 \
    --trust-remote-code \
    --tp-size 2 --nnodes 2 --node-rank 0 \
    --dist-init-addr 10.100.40.2:29500 \
    --attention-backend dsa \
    --dsa-prefill-backend tilelang --dsa-decode-backend tilelang \
    --moe-runner-backend flashinfer_cutlass \
    --kv-cache-dtype bfloat16 \
    --disable-shared-experts-fusion \
    --reasoning-parser glm45 --tool-call-parser glm47 \
    --mem-fraction-static 0.90 \
    --context-length 524288 \
    --max-running-requests 2 \
    --default-chat-template-kwargs '{"reasoning_effort": "low"}' \
    --host 0.0.0.0 --port 8000

这个参数设置得比较极限：通过计算得到内存红线设置在0.92可保证上下文512K的情况下最大并发为2（gb10集群仅作推理服务器不运行别的任何程序，连屏幕键鼠都不配的情况下）。
GLM5.3-Flash这模型因为激活参数18B，推理确实很慢，再加上这货的默认设置导致过度思考的问题：

加入 --default-chat-template-kwargs '{"reasoning_effort": "low"}' \后勉强可用，但效果还是远不如DSV4-Flash。也就是不愿意为“降速高达70%但智力没有相应程度的提升”买单，工作了一天准备换回DSV4-Flash。下一步准备测试Qwen4架构的qwen3.8-flash-next。因为都是以实际工作场景的数据日志进行性能分析，所以更新可能没那么快，主打一个真实可信。

最后引用一个社区排行榜的glm5.3-flash截图，tp2无论如何都还是捉襟见肘，要真想在gb10上爽玩还是得TP4集群。

[Grayson Ren]

Qwen4架构的qwen3.8-flash-next 测试结果有了么？

[benton yi]

[terry]

@benton-yi 我弟你多测试下，comfyui/glm/qwen flash/dsv4，多发点帖子

[kop wang]

为何总参数、激活参数更小的qwen3.8-flash会更慢，这个很难理解。