@jenaflex 说:

@쿄겐
Turing架构的话，不合适
24G显存+相对新的架构（不早于 30系的），两者缺一不可。
不然还不如用在线的。
买错的话，还得再买一次

这样...上次错过了4500可以拿下的7900xtx 哎。。慢慢等吧

题主说的是这款：https://www.techpowerup.com/gpu-specs/quadro-rtx-6000.c3307
TU102核心，24 GB GDDR6，384 bit
带宽倒是还不错 672.0 GB/s
但是核心太老了，很多特性不支持

1. 显存24G够跑14B-16B模型（q4量化），但27B就放不下了
2. 核心架构是Turing（2018年），AI推理效率不如后来的Ampere/Ada架构
3. 专业卡溢价主要在ECC显存和ISV认证上，对AI推理没有实际帮助
4. 同价位（二手约3000-4000）可以买到RTX 3090/3090 Ti 24G，性能翻倍不止

如果你只是临时用用或者公司报销必须走专业卡渠道，那没问题。如果自用跑LLM，建议看看二手3090。