<![CDATA[【双卡+NVLink，5000元畅跑 AI 实测】魔改 RTX 2080Ti 22G 双卡搭建平民 AI 算力节点：从 LLM 吞吐到 ComfyUI 视频评测]]>

标签：rtx2080ti · 多卡部署 · NVLink · vLLM · ComfyUI
导读：本帖整理自@司波图于发布的测评视频《听劝买了两张 2080Ti 22G！双卡 + NVLink 跑 AI，这性价比真的无解了》，因为涉及2080ti和NV Link话题，比较有参考性， 特整理出这份关于魔改 RTX 2080Ti 22G 双卡与 NVLink 桥接的的实测数据供参考。

一、硬件配置与魔改方案

项目 规格 备注
显卡 七彩虹 RTX 2080Ti 22G 涡轮魔改 ×2 单张 2599 元，双卡合计约 5200 元 [1]
NVLink 桥 专用 NVLink 桥接器 ×1 约 400 元 [1]
显存颗粒 原厂 11 颗 1GB → 魔改 11 颗 2GB 配合 PCB 电阻改动，GPU-Z 识别 22GB [1]
GPU 核心 TU102，4352 CUDA核心 单卡显存带宽 616 GB/s [1]
芯片版本 300A（贵约 100 元）/ 300 AI 性能基本无异，功耗墙不同 [1]
单卡功耗 约 250W 满载烤机核心温度 <70℃，涡轮风扇噪音大 [1]
测试平台 i5-13 代 / 48G / 华硕 Z790 双卡各跑 PCIe x8 [1]

二、软件环境与本地大模型推理

2.1 软件环境

  • 系统：Ubuntu
  • 栈：CUDA 13 + PyTorch 2.13 + vLLM（Turing 20 系魔改分支）

2.2 单卡 22G 限制

模型 单卡占用 KV Cache 余量 单流解码 预填充 首字
Qwen3.8-27B（INT4） 紧凑 ≈74K 28 t/s ~1000 t/s 4s+
Qwen3.6-35B-A3B（INT4） ~19GB ~64K ~100 t/s — —

瓶颈：单卡跑 64K 上下文即占 80%+ 显存，无法高并发 [1]。

2.3 双卡张量并行（TP=2）

原理：矩阵拆分到两张卡，单卡读取 8.7G，叠加带宽 616 + 616 GB/s [1]。

Qwen3.8-27B 表现：

  • 单流解码：45 t/s（+60% vs 单卡）
  • 预填充：1200+ t/s，双卡预填充功耗从 236W 飙到 435W
  • KV Cache：550K–650K tokens → 可跑满 256K 超长上下文，或 19 路 32K 并发

并发吞吐：

并发数 总吞吐 人均
1 45 t/s 45 t/s
8 251 t/s 31 t/s
16 376 t/s 23 t/s

2.4 开 MTP（多 Token 预测，深度=3）

不插桥状态下开 MTP：

模式 单流解码 16 人并发总吞吐
不开 MTP 45 t/s 376 t/s
开 MTP 71 t/s 584 t/s

KV Cache 略降至 550K，仍宽裕。

三、NVLink 桥接器提速实测

3.1 通信带宽

状态 双向带宽 备注
不插桥（走 PCIe/主板内存） ~7 GB/s 双卡交换慢
插 NVLink 桥 74 GB/s（峰值 87.5 GB/s） 接近 100 GB/s 理论上限，提速 ~10×

3.2 AI 实际收益

场景 不插桥 插 NVLink 提升
长文本 Prefill 1220 t/s 1753 t/s +44%
8 人并发吞吐 — +24% —
16 人并发吞吐 — +25% —
单流解码（开 MTP） — +29% —
16 人并发（开 MTP） 584 t/s 846 t/s +45%

3.3 超长上下文与 FP8

256K 上下文 + MTP：

  • 4K 解码：92.5 t/s
  • 16K 解码：114 t/s
  • 256K 衰减仅 22%（仍 70+ t/s）

FP8 精度（官方）：

  • 双卡占 28GB，单流解码 32.4 t/s（开 MTP 达 74 t/s）
    -16 人并发易崩显存 → INT4 仍是主力格式

四、ComfyUI 图像与视频生成

4.1 双卡部署要点

  • 双卡无法跨卡合并显存（22G + 22G ≠ 44G）
  • 最佳方案：开两个 ComfyUI 实例独立运行 → 生成效率翻倍

4.2 XK Attention（XKA）加速

Turing 架构原生支持 ComfyUI v0.32 引入的 XKA。在 Hunyuan Video（0.4MP / 5s / 20 步）测试：

模式 单步渲染
关闭 XKA 54s
开启 XKA 10s+（提速 ~5×）

4.3 横向对比

维度 RTX 2080Ti 22G Intel Pro B65 (32G) RTX 4060Ti 16G
1080P 10s 视频 基准 比 2080Ti 慢 ~20% —
2MP 5s 视频 基准 — 4800s（80 分钟）
2MP 10s 视频 基准 — 16G 显存瓶颈直接失败
关键短板 涡轮噪音大 内存切片流式效率低 16G 装不下

五、核心性能数据对比

配置 显存 卡间带宽 单流解码（27B） Prefill 16 人并发
单卡 2080Ti 22G 22G — 28 t/s ~1000 t/s 显存爆满
双卡 2080Ti（无桥，TP=2） 44G 7 GB/s 45 t/s（开 MTP 71） 1220 t/s 376 t/s（开 MTP 584）
双卡 2080Ti + NVLink 44G 74–87.5 GB/s 48.6 t/s（开 MTP 92.5） 1753 t/s 846 t/s
Intel Pro B65 (32G) 32G — ~30 t/s（开 MTP 40+） — —
RTX 4060Ti 16G 16G — — — —

六、总结

性价比

~5600 元（双卡 5200 + NVLink 400）拿下 44GB 显存池 + 800+ t/s 高并发，平民 AI 算力节点里性价比突出。

风险与局限

  • 魔改卡有掉电打焊与矿卡/沙草卡风险
  • 双卡满载功耗 >400W，涡轮噪音大
  • 原生不支持 BF16 精度
]]>https://lcz.me/topic/1965RSS for NodeMon, 12 Oct 2026 13:28:43 GMTSun, 27 Sep 2026 10:38:23 GMT60