Jason-Lu 说:
5090魔改已经摸过了。性能比想象的强。
在同一台8卡魔改5090（单卡96G）上用vLLM跑的三组部署实测：Qwen3.5-122B-A10B-FP8单副本（TP=8）、DeepSeek-V4-Flash单副本（TP=8）、DeepSeek-V4-Flash双副本（TP=4x2）。每组都记录了每卡显存占用，并在并发1/8/16/32/64/128/256上扫描输出吞吐与延迟，另外测了2K/8K/32K输入的长上下文prefill缩放。结论是两套模型都能在这台机器上稳定服务：122B-FP8单副本在并发256达到4,302tok/s的输出饱和点；DeepSeek-V4-Flash单副本在并发128达到5,082.83tok/s，双副本在2026-09-13复测中把两个副本的端口一起施压，每副本并发256（合计512）达到12,672.88tok/s，约为单副本的2.5倍。