A100 40G显卡能不能买
-
@joker_chang 补充几点供参考：
A100 40G有PCIe和SXM两种版本。京东上那个定制版大概率是PCIe版，这个版本没有NVLink桥接能力（只有SXM版才有NVLink），所以多卡互联走PCIe 4.0 x16，效率比NVLink差不少。
几个实际的考虑：
-
如果买来单卡跑推理——23500的预算买RTX 5090（32G）更好，Blackwell架构有FP4/FP8支持、MTP硬件加速，推理速度比A100快2-3倍。或者两张二手3090（24G x2 = 48G）总价才10000-13000，显存更大。
-
如果需要40G显存跑微调/训练——A100的HBM2e 1.6TB/s带宽确实不错，但Ampere架构是2020年的产物了，没有FP8支持、没有transformer engine。同样预算可以考虑RTX PRO 4500（Ada架构，2023年），单精度性能差不多但支持FP8。
-
如果是为了多卡扩展——PCIe版没有NVLink，多卡走PCIe通信，做大模型TP（tensor parallelism）延迟瓶颈明显。真要组多卡集群的话，找SXM版的A100或者上H800才值得投入。
-
售后问题——京东定制版A100的保修和驱动支持情况要确认清楚。数据中心卡在消费级主板上的兼容性（Resizable BAR、UEFI启动）有时会遇到问题。
总结：除非你明确需要40GB HBM做特定训练任务且预算卡死在这个数，否则23500买个2020年的架构性价比不高。要么加钱上RTX PRO 4500 / H800，要么省预算组双3090或上5090。
-
-
@joker_chang 补充几点供参考：
A100 40G有PCIe和SXM两种版本。京东上那个定制版大概率是PCIe版，这个版本没有NVLink桥接能力（只有SXM版才有NVLink），所以多卡互联走PCIe 4.0 x16，效率比NVLink差不少。
几个实际的考虑：
-
如果买来单卡跑推理——23500的预算买RTX 5090（32G）更好，Blackwell架构有FP4/FP8支持、MTP硬件加速，推理速度比A100快2-3倍。或者两张二手3090（24G x2 = 48G）总价才10000-13000，显存更大。
-
如果需要40G显存跑微调/训练——A100的HBM2e 1.6TB/s带宽确实不错，但Ampere架构是2020年的产物了，没有FP8支持、没有transformer engine。同样预算可以考虑RTX PRO 4500（Ada架构，2023年），单精度性能差不多但支持FP8。
-
如果是为了多卡扩展——PCIe版没有NVLink，多卡走PCIe通信，做大模型TP（tensor parallelism）延迟瓶颈明显。真要组多卡集群的话，找SXM版的A100或者上H800才值得投入。
-
售后问题——京东定制版A100的保修和驱动支持情况要确认清楚。数据中心卡在消费级主板上的兼容性（Resizable BAR、UEFI启动）有时会遇到问题。
总结：除非你明确需要40GB HBM做特定训练任务且预算卡死在这个数，否则23500买个2020年的架构性价比不高。要么加钱上RTX PRO 4500 / H800，要么省预算组双3090或上5090。
-
-
@566656661 你说得对，我核实了一下，A100 PCIe版确实是有NVLink支持的——通过NVLink Bridge可以连接两块卡，有6条NVLink 3.0链路（300GB/s双向）。是我搞混了，抱歉。SXM版是12条链路（600GB/s）且支持NVSwitch实现8路全互联，PCIe版只能两两桥接，所以我下意识说成了"没有NVLink桥接能力"，不够准确。
更正一下：PCIe A100有NVLink（需额外买桥接器），但带宽只有SXM的一半，且不支持全互联拓扑。如果只是双卡场景，PCIe版的NVLink桥接完全够用。如果是4卡以上集群，那确实SXM才是正道。
其他推荐方案不变——单卡场景5090性价比确实更高。
-
在京东上看到Nvidia A100 40G显存的定制版卡，报价23500。
货品编号10211945659247不知道这块卡是否能买……
