【双卡+NVLink，5000元畅跑 AI 实测】魔改 RTX 2080Ti 22G 双卡搭建平民 AI 算力节点：从 LLM 吞吐到 ComfyUI 视频评测
-
标签：
rtx2080ti·多卡部署·NVLink·vLLM·ComfyUI
导读：本帖整理自@司波图于发布的测评视频《听劝买了两张 2080Ti 22G！双卡 + NVLink 跑 AI，这性价比真的无解了》，因为涉及2080ti和NV Link话题，比较有参考性， 特整理出这份关于魔改 RTX 2080Ti 22G 双卡与 NVLink 桥接的的实测数据供参考。
一、硬件配置与魔改方案
项目 规格 备注 显卡 七彩虹 RTX 2080Ti 22G 涡轮魔改 ×2 单张 2599 元，双卡合计约 5200 元 [1] NVLink 桥 专用 NVLink 桥接器 ×1 约 400 元 [1] 显存颗粒 原厂 11 颗 1GB → 魔改 11 颗 2GB 配合 PCB 电阻改动，GPU-Z 识别 22GB [1] GPU 核心 TU102，4352 CUDA核心 单卡显存带宽 616 GB/s [1] 芯片版本 300A（贵约 100 元）/ 300 AI 性能基本无异，功耗墙不同 [1] 单卡功耗 约 250W 满载烤机核心温度 <70℃，涡轮风扇噪音大 [1] 测试平台 i5-13 代 / 48G / 华硕 Z790 双卡各跑 PCIe x8 [1]
二、软件环境与本地大模型推理
2.1 软件环境
- 系统：Ubuntu
- 栈：CUDA 13 + PyTorch 2.13 + vLLM（Turing 20 系魔改分支）
2.2 单卡 22G 限制
模型 单卡占用 KV Cache 余量 单流解码 预填充 首字 Qwen3.8-27B（INT4） 紧凑 ≈74K 28 t/s ~1000 t/s 4s+ Qwen3.6-35B-A3B（INT4） ~19GB ~64K ~100 t/s — — 瓶颈：单卡跑 64K 上下文即占 80%+ 显存，无法高并发 [1]。
2.3 双卡张量并行（TP=2）
原理：矩阵拆分到两张卡，单卡读取 8.7G，叠加带宽 616 + 616 GB/s [1]。
Qwen3.8-27B 表现：
- 单流解码：45 t/s（+60% vs 单卡）
- 预填充：1200+ t/s，双卡预填充功耗从 236W 飙到 435W
- KV Cache：550K–650K tokens → 可跑满 256K 超长上下文，或 19 路 32K 并发
并发吞吐：
并发数 总吞吐 人均 1 45 t/s 45 t/s 8 251 t/s 31 t/s 16 376 t/s 23 t/s 2.4 开 MTP（多 Token 预测，深度=3）
不插桥状态下开 MTP：
模式 单流解码 16 人并发总吞吐 不开 MTP 45 t/s 376 t/s 开 MTP 71 t/s 584 t/s KV Cache 略降至 550K，仍宽裕。
三、NVLink 桥接器提速实测
3.1 通信带宽
状态 双向带宽 备注 不插桥（走 PCIe/主板内存） ~7 GB/s 双卡交换慢 插 NVLink 桥 74 GB/s（峰值 87.5 GB/s） 接近 100 GB/s 理论上限，提速 ~10× 3.2 AI 实际收益
场景 不插桥 插 NVLink 提升 长文本 Prefill 1220 t/s 1753 t/s +44% 8 人并发吞吐 — +24% — 16 人并发吞吐 — +25% — 单流解码（开 MTP） — +29% — 16 人并发（开 MTP） 584 t/s 846 t/s +45% 3.3 超长上下文与 FP8
256K 上下文 + MTP：
- 4K 解码：92.5 t/s
- 16K 解码：114 t/s
- 256K 衰减仅 22%（仍 70+ t/s）
FP8 精度（官方）：
- 双卡占 28GB，单流解码 32.4 t/s（开 MTP 达 74 t/s）
-16 人并发易崩显存 → INT4 仍是主力格式
四、ComfyUI 图像与视频生成
4.1 双卡部署要点
- 双卡无法跨卡合并显存（22G + 22G ≠ 44G）
- 最佳方案：开两个 ComfyUI 实例独立运行 → 生成效率翻倍
4.2 XK Attention（XKA）加速
Turing 架构原生支持 ComfyUI v0.32 引入的 XKA。在 Hunyuan Video（0.4MP / 5s / 20 步）测试：
模式 单步渲染 关闭 XKA 54s 开启 XKA 10s+（提速 ~5×） 4.3 横向对比
维度 RTX 2080Ti 22G Intel Pro B65 (32G) RTX 4060Ti 16G 1080P 10s 视频 基准 比 2080Ti 慢 ~20% — 2MP 5s 视频 基准 — 4800s（80 分钟） 2MP 10s 视频 基准 — 16G 显存瓶颈直接失败 关键短板 涡轮噪音大 内存切片流式效率低 16G 装不下
五、核心性能数据对比
配置 显存 卡间带宽 单流解码（27B） Prefill 16 人并发 单卡 2080Ti 22G 22G — 28 t/s ~1000 t/s 显存爆满 双卡 2080Ti（无桥，TP=2） 44G 7 GB/s 45 t/s（开 MTP 71） 1220 t/s 376 t/s（开 MTP 584） 双卡 2080Ti + NVLink 44G 74–87.5 GB/s 48.6 t/s（开 MTP 92.5） 1753 t/s 846 t/s Intel Pro B65 (32G) 32G — ~30 t/s（开 MTP 40+） — — RTX 4060Ti 16G 16G — — — —
六、总结
性价比
~5600 元（双卡 5200 + NVLink 400）拿下 44GB 显存池 + 800+ t/s 高并发，平民 AI 算力节点里性价比突出。
风险与局限
- 魔改卡有掉电打焊与矿卡/沙草卡风险
- 双卡满载功耗 >400W，涡轮噪音大
- 原生不支持 BF16 精度
