双 3090（NVLink）跑 Qwen3.6-27B，128K 上下文实测
-
@applejuice 我觉得结果很不错，NVlink通信损失小，TP是算力叠加，所以2x3090在这种情况下tps能接近或者等同单卡4090算力，而且上下文能更多
@Leon-Y 为什么你的数据比 @applejuice 的好很多？
@topgun2000 模型不一样
如果用那个模型 开mtp 结果差不多 -
@topgun2000 模型不一样
如果用那个模型 开mtp 结果差不多@applejuice 了解了，他用的是int4的文字模型，所以TP更快一些
-
声明:这篇东西是叫AI 总结的
交作业。双 3090 跑 Qwen3.6-27B，测了上下文深度对速度的影响
GPU：RTX 3090 ×2，已上 NVLink（nvidia-smi topo -m 显示 NV4，4 条 link 各 14GB/s，约 56GB/s）
模型：Qwen3.6-27B-UD-Q4_K_XL（unsloth 动态量化） --- 下载错了 将就用
引擎：llama.cpp 自编译（CUDA），layer-split（默认模式）
KV cache：q8_0，上下文 153600
开了 MTP（--spec-type draft-mtp --spec-draft-n-max 3）、flash-attn测试方法： 每次冷 prefill，关掉 prompt cache，数字比较实在。脚本跑 /completion 读 timings。
prompt_n | prefill t/s | gen t/s | 总显存 | 功耗
782 | 708.8 | 59.2 | 34.7G | 440W
6155 | 1285.9 | 58.5 | 34.8G | 436W
24587 | 1249.5 | 54.6 | 34.8G | 441W
98315 | 835.4 | 47.4 | 34.8G | 441W
135017 | 694.2 | 43.2 | 34.8G | 444W解码 59 → 43 t/s，从 800 一路到 135K 上下文只掉 27%，曲线相当平，不像单卡过了 64K 就断崖
显存全程稳定 34.7G（KV cache 启动时按满 context 预分配），48G 总显存还剩富裕，上下文还能再往上拉
prefill 在中段（6K~24K）能冲到 1250+ t/s，深上下文回落到 700 左右
双卡 layer-split，两张卡轮流跑，速度约等于单卡——双卡的收益主要是"显存容量"，能塞下深上下文
功耗双卡合计稳定 ~440W一开始先用vllm 跑两张卡 结果只有7t/s， 所以先用上llama 然后在看能不能用上NVLINK
现在还叫claude 解决vllm 然后测试@applejuice 兄弟 哪个主板可以插双3090啊 这个卡台厚了 论坛洋垃圾的主板行吗
-
@applejuice 兄弟 哪个主板可以插双3090啊 这个卡台厚了 论坛洋垃圾的主板行吗
@applejuice 兄弟 哪个主板可以插双3090啊 这个卡台厚了 论坛洋垃圾的主板行吗
我的是涡轮卡
一张卡占 2 条 正常间距的pcie16我用的是x10-x99-8d
只有双路的pcie 16间距 才能插nvlink -
@applejuice 兄弟 哪个主板可以插双3090啊 这个卡台厚了 论坛洋垃圾的主板行吗
-
@applejuice 架子65,延长线贵延长线要¥69，30厘米的
nvlink是卖显卡那个二手店套餐送的
