2x3090 NVLink 王者配置再度进化——SGLang dev507 + DFLASH2 全面复测，并发 249 t/s 新高峰
-
还真就是王者了。NV显卡价格继续飙升。3090算是守门员了。
@williamlouis 主要是带宽管饱,两张 3090 够 27B 吃满, NVLink 把同步税砍掉后确实到头了。
-
@applejuice 350W 这组 prefill 档位数据收了,19k 181k 从 1966 掉到1141 t/s(-42%)、TTFT9.8s 159s,退化曲线 很有用。
不过有个反直觉点想对齐:350W 墙下代码 284.9 反而比无
墙 246.7高 15%,散文 72.7 也高 18%,英文/中文却掉 10-21%——不像功耗墙特征,更像 prompt 或热身后的状态差 (tok/chunk 也不一样:6.69 vs 6.32)。方便的话同 prompt 无墙再跑一轮对照?真复现了就是功耗墙时钟策略对某些负 载有利,那是个大发现。
350w 算是没功耗限制 3090 最高功耗好像就是350w
平常都是245w限制这个就是 245w限制
场景 ON (t/s) OFF (t/s) Δ decode tok/chunk ON tok/chunk OFF 代码生成 147.6 258.1 +74.9% 3.64 6.32 英文技术论述 109.2 147.2 +34.8% 2.69 3.63 中文常规对话 80.5 103.5 +28.6% 1.99 2.56 中文散文 67.0 64.3 −4.0% 1.67 1.60 对比350w 后面100w, 30%的功耗, 只换来10%+ 的性能
-
-
其實都是一樣，市售版(3slot) 3090 x 4 的飄過，雖然當初是想裝兩台做互相備援...
偉大的祖國怎麼沒人硬改 NVLINK 軟排長線...
剛看板主的窮人越窮有感而發... -
@Eric-Su 开放式 机箱吗 ？
我也想玩 4张
虽然说现阶段不需要@applejuice 沒，生產裝兩台(3945wx+WRX80E+128G DDR4)
的確有考慮買礦機架來裝，把手上5090/5070Ti都裝上去看看會怎樣
到時候再貼上來供大家娛樂
PS. EVGA(大哥) 3090 預設功耗可以到450W -
-
-
-
-
@neo 也太厉害了 我这两天都在跑这个 甚至还有延伸到1M的上下文 被先破题了
@starryskyknight 再来1m上下文 我就有借口 上4卡 3090 了
-
T terry 于 将此主题固定
-
系统 于 取消固定此主题
-
换了个模型 用 W4A8 牺牲了一点点decode, prefill 快了70%
功耗限制 255w
Workload AWQ W4A8 Change Chinese prose decode 69.3 t/s 62.2 -10% Chinese chat decode 75.2 73.5 -2% English technical decode 120.8 119.9 -1% Code decode 273.1 268.3 -2% Prefill 19K 1760 t/s 2986 +70% Prefill 43K 1605 2537 +58% Prefill 89K 1364 1987 +46% Prefill 181K 1050 1388 +32% First token at 89K 65 s 45 s First token at 181K 173 s 131 s KV pool 373,973 tokens 386,554 +3% 255w 对比 355w, 35%能耗换10%速度
Workload 255 W 350 W Change Chinese prose decode 62.2 t/s 65.0 +4.5% Chinese chat decode 73.5 76.7 +4.4% English technical decode 119.9 125.1 +4.3% Code decode 268.3 279.8 +4.3% Prefill 19K 2986 t/s 3384 +13% Prefill 43K 2537 2840 +12% Prefill 89K 1987 2220 +12% Prefill 181K 1388 1544 +11% First token at 181K 131 s 117 s -
-
今天在GITHUB看到一个帖子，双3090的 功率和 频率的甜点位，可参考一下：
https://github.com/noonghunna/club-3090/issues/1460
我目前只限在240W和1600MHZ使用
-
今天在GITHUB看到一个帖子，双3090的 功率和 频率的甜点位，可参考一下：
https://github.com/noonghunna/club-3090/issues/1460
我目前只限在240W和1600MHZ使用
-
-
-
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！