2x3090 NVLink 王者配置再度进化——SGLang dev507 + DFLASH2 全面复测，并发 249 t/s 新高峰

[neo]

感谢分享，有可能的话可以测测长会话生成精度、质量如何，这个也很重要

[starryskyknight]

@neo 也太厉害了 我这两天都在跑这个 甚至还有延伸到1M的上下文 被先破题了

[applejuice]

@starryskyknight 再来1m上下文 我就有借口 上4卡 3090 了

[applejuice]

换了个模型 用 W4A8 牺牲了一点点decode, prefill 快了70%

功耗限制 255w

Workload	AWQ	W4A8	Change
Chinese prose decode	69.3 t/s	62.2	-10%
Chinese chat decode	75.2	73.5	-2%
English technical decode	120.8	119.9	-1%
Code decode	273.1	268.3	-2%
Prefill 19K	1760 t/s	2986	+70%
Prefill 43K	1605	2537	+58%
Prefill 89K	1364	1987	+46%
Prefill 181K	1050	1388	+32%
First token at 89K	65 s	45 s
First token at 181K	173 s	131 s
KV pool	373,973 tokens	386,554	+3%

255w 对比 355w, 35%能耗换10%速度

Workload	255 W	350 W	Change
Chinese prose decode	62.2 t/s	65.0	+4.5%
Chinese chat decode	73.5	76.7	+4.4%
English technical decode	119.9	125.1	+4.3%
Code decode	268.3	279.8	+4.3%
Prefill 19K	2986 t/s	3384	+13%
Prefill 43K	2537	2840	+12%
Prefill 89K	1987	2220	+12%
Prefill 181K	1388	1544	+11%
First token at 181K	131 s	117 s

[stxpnet]

今天在GITHUB看到一个帖子，双3090的 功率和 频率的甜点位，可参考一下：
https://github.com/noonghunna/club-3090/issues/1460

我目前只限在240W和1600MHZ使用

[applejuice]

@stxpnet 我现在用着255w 让他刚好有 3000 prefill t/s

[starryskyknight]

@stxpnet 感謝分享 立刻來試看看

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h1502-22-1（系统自动发放，显示稍有延迟）

[terry]

SGLang才热多久，strata就后来居上了。大家都忘记了，HaloGen才进入视野多久，

[starryskyknight]

@terry 所以我也贴了一版 对比的 测试看看差异 比起ai agent跟我云 我还是喜欢让他实际跑给我看
官方数据我不信 自己跑的比较贴近真实