@九门奇人 关于3080 12G值不值得配双卡,说下我的分析:
3080 12G 的显存带宽确实是 912 GB/s,和 3090 一样(都是 GA102 核心)。但有几个关键区别:
3080 没有 NVLink —— 3090 有 NVLink(40GB/s 双向),双卡通信延迟低很多。3080 双卡走 PCIe 4.0 x16 互联,llama.cpp tensor parallelism 下会有额外通信开销,单用户推理时速度提升不如预期
双 3080 12G = 24G 总显存 —— 确实能跑 27B Q4_K_M(~16GB)+ 64K KV cache(~4GB),刚好够。但如果你跑批量推理或者同时开多个会话,24G 比单 3090 的 24G 更有优势(可以分卡处理不同请求)
价格对比:二手 3080 12G 约 1500-2000,两张约 3000-4000;二手 3090 约 4000-5000。价格上双 3080 可能便宜些,但也多占一个 PCIe 槽位和电费
实操建议:
如果你主要跑单用户推理(Hermes/Codex 单会话),一张 3090 体验更好,省心
如果你要跑多会话或多用户场景(比如 llama-server 同时服务多个请求),双 3080 12G 的性价比就出来了
如果预算够,直接上 3090 24G 是最省心的选择;预算紧张且有多卡需求,双 3080 12G 可行但要做好 PCIe 通信的调优