350w 算是没功耗限制 3090 最高功耗好像就是350w
平常都是245w限制

这个就是 245w限制

对比350w 后面100w, 30%的功耗, 只换来10%+ 的性能

PCIe：我这边也是 x8+x8——Z890 平台 CPU 直出 20 lanes，x16 槽拆 x8/x8（PCIe 5.0），两卡各 x8，跟你一样。唯一物理差异就是 NVLink 桥。

CPU：Core Ultra 9 285K（24 线程）——巧了，跟你 13700K 线程数一样，所以并发差距不在 CPU 线程数。先说个口径：我 OFF 同 prompt 是 518.4 / 不同 550.8（不是 440）。真正的差距在你的 NCCL_P2P_DISABLE=1：TP=2 每步同步激活，你禁 P2P 后同步走 host 内存中转，并发多路时同步次数放大，差距就显形了。证据是模式：单路 218 vs 270（-19%），并发 -31%~-33%，差距随并发放大正是同步带宽特征。验证方法：打 smcleod/nvidia-p2p-patch 开 P2P（无 NVLink 的 3090 跨卡 P2P 默认被驱动锁，patch 后走 PCIe 4.0 x8 双向 ~16GB/s，远好于 host 中转），重跑并发——差距缩到 ~20% 以内就证伪 CPU 假设了。

mem-fraction 0.90：0.94 时日志打 Disable DFLASH draft cuda graph because only 0.93 GB GPU memory is available——graph 被挤掉；0.90 恢复启用（selector decode 也折叠进去）。精确 avail 我没记，估算 0.90 时 ~1.9GB 上下，看你自己启动日志这行的数字最准。你 0.88 单路略好我信，但会压缩 KV cache 上限，长 context 档位先吃紧，看用途取舍。

不过有个反直觉点想对齐:350W 墙下代码 284.9 反而比无

墙 246.7高 15%,散文 72.7 也高 18%,英文/中文却掉 10-21%——不像功耗墙特征,更像 prompt 或热身后的状态差 (tok/chunk 也不一样:6.69 vs 6.32)。方便的话同 prompt 无墙再跑一轮对照?真复现了就是功耗墙时钟策略对某些负 载有利,那是个大发现。

楼主是nvlink pcie 也不重要了，因为都显卡数据交换 经过nvlink 不经过pcie

你的是x8 我的是x16 分别就是这里

单路 decode，rounds=3、max_tokens=512、temperature=0, NCCL_P2P_DISABLE=0, NCCL_P2P_LEVEL=SYS, disable_custom_all_reduce=true, 245w 功耗

并发 2 路 aggregate decode（代码场景）：

Prefill

唯一随机 prompt（规避 radix 命中），max_tokens=1，rounds=2 取最快。
固定开销标定 411 ms（极短 prompt 最小 TTFT，5 次取 min）。

实际 prompt_tokens	TTFT (s)	原始 t/s	扣除开销 t/s
2,160	1.529	1413	1933 ️
8,502	5.167	1645	1788
16,982	10.304	1648	1717
33,703	21.657	1556	1586
67,642	49.198	1375	1386
137,835	124.093	1111	1114

环境：SGLang 0.5.19 + twolven AWQ-MTP + incoai DFlash2（8/8, fp8_e5m2, mem 0.88, mamba 20, TP2, NCCL_P2P_DISABLE=1），你的统一脚本，t=0 / 512 tok / 3 rounds，thinking OFF：

单路 decode：代码 218.0 t/s（LRU prompt）、TTFT 0.06-0.10s
并发 2 路：同 prompt 355.2、不同 prompt 367.1

想对齐几个硬件问题：

1. 我这边 2×3090 走主板 PCIe x8+x8（i7-13700K，Z690），无 NVLink，NCCL P2P 已禁用。你那边 3090 是 x16 还是 x8？NVLink 之外主板的 PCIe 分配是？
2. CPU 是什么？我在猜并发 355 vs 你 440 的差距主要来自 CPU/PCIe lanes（我是 24 线程桌面平台），不是模型或 SGLang 参数——想验证这个假设。
3. mem-fraction 你用 0.90，我试过 0.88（给 draft graph 多点空间）单路略好，0.93 会挤 draft graph。你 0.90 时 draft graph avail mem 大概多少？

applejuice 兄的 EPYC 7452 数据（无 NVLink）我这边基本复现了（单路 218 vs 他 246，约 9% 差），所以怀疑剩的差距是纯平台带宽/核数。

Decode (tokens/s, median of 3, spread in brackets)

Prefill (tokens/s)

3090+3080 = 我的 69.8%, 不到 80% (188.5/270.2, 同 thinking OFF 同脚本). 原因两个都是硬伤:

1. 前向被 3080 拖住: TP=2 平均分算力, 你 33 次/s vs 我 50 次/s -- TP 同步永远等最慢那张卡, 楼上 applejuice 说的没错, 平均分配救不了
2. 20GB 锁死 mem-fraction: SGLang 按最小卡分配, draft 模型和 KV cache 空间受限, CUDA graph 可能也开不起来

"哪里怪怪的": 你的 TTFT (0.098s) 反而比我快, 是 radix 命中+短 prompt, 但 decode 阶段短板效应全部显形.

双 3090 vs 单张 48G 4090: 数据说话 -- 单张 4090 跑 27B AWQ+MTP 公开实测 ~65 t/s (24G 版), 48G 版会好一些但撑死 ~130. 我这套 thinking OFF 代码 270, 并发 550. 4090 单卡优势是省电省心, 绝对速度不在一个量级. 内存双通道那个类比不成立: TP=2 是张量切分不是带宽叠加, 两张 3090 不等于一张 4090x2.