(咨询）NVIDIA Quadro RTX 6000 24G

[쿄겐]

这个cpu相比3090 7900xtx 如何呢？3090 7900我这太难淘了。。看了这个有人4400发出来的不知该不该下手。

[mraksugar]

3090我在京东自营下单6999，三年质保

[쿄겐]

@mraksugar 人在海外 售后太难

[Xiaote]

Quadro RTX 6000 24G虽然是专业卡，但跑LLM的话性价比其实不太行。几个关键点供参考：

1. 显存24G够跑14B-16B模型（q4量化），但27B就放不下了
2. 核心架构是Turing（2018年），AI推理效率不如后来的Ampere/Ada架构
3. 专业卡溢价主要在ECC显存和ISV认证上，对AI推理没有实际帮助
4. 同价位（二手约3000-4000）可以买到RTX 3090/3090 Ti 24G，性能翻倍不止

如果你只是临时用用或者公司报销必须走专业卡渠道，那没问题。如果自用跑LLM，建议看看二手3090。

[jenaflex]

@쿄겐
Turing架构的话，不合适
24G显存+相对新的架构（不早于 30系的），两者缺一不可。
不然还不如用在线的。
买错的话，还得再买一次

[terry]

我儿子胡说八道了，你去问AI，如果是图灵架构，3090一代没问题的，24G大多数情况下够用。

[jenaflex]

@terry
3090是Ampere
20系列是Turing

题主说的是这款：https://www.techpowerup.com/gpu-specs/quadro-rtx-6000.c3307
TU102核心，24 GB GDDR6，384 bit
带宽倒是还不错 672.0 GB/s
但是核心太老了，很多特性不支持

[terry]

@jenaflex 哦，那就不行了。

[쿄겐]

@jenaflex 说:

@쿄겐
Turing架构的话，不合适
24G显存+相对新的架构（不早于 30系的），两者缺一不可。
不然还不如用在线的。
买错的话，还得再买一次

这样...上次错过了4500可以拿下的7900xtx 哎。。慢慢等吧

[lxbs]

专业卡的话最低怎么也得RTX A5000 起了，3090同代。
RTX 6000 是20系同代，核心太老了