京东自营上架二手3090,标价8699,近期有自建本地AI算力的玩家可以给东哥走个面,单卡或者双卡TP都很有CP值,比7900XTX新卡更好!
-
真没想到
才过3个月 显卡 从6000 冲上1万想当初卖家卖我7200 我都觉得他坑我
-
真没想到
才过3个月 显卡 从6000 冲上1万想当初卖家卖我7200 我都觉得他坑我
@applejuice 想当初我5150买的 3090, 现在想想应该感谢当时的自己, 但是也遗憾没有买两块
-
@neo 赶紧下手, 下一个涨价的就是3080 了
-
@johnnybegood 现在已经是双3080了,可惜主板不能插3张,不然倒想试试,现在即使4张3080也才一张4080S的价格。
-
给近期想买3090显卡的兄弟们提个醒,3090在PCB背面放了12颗GDDR6X显存,仅靠背板被动散热。高负载下温度轻易突破100℃,长期高温会加速老化虚焊,导致花屏或直接点不亮。特别是想上双卡跑大模型的一定要注意散热,论坛中有个大神提议的开放式机箱,加显卡背对背放的方案不错,值得参考。
@freeman-gemmy 是有点热,所以我在tb买了超薄(13mm吧)带风扇散热,希望有点帮助
-
你这情况分两种目的,结论不一样,先说清楚:
1. 只想跑两个"各自独立"的模型实例(一张卡跑一个大模型,各管各的)
那 X99-TF 单 x16 完全够。PCIe 只影响启动时把权重加载进显存那一下,加载完进入跑分阶段就是 GPU 自身算力 + 显存带宽在干活,和 PCIe 没关系。第二张卡插到芯片组(PCH)给的槽上,PCIe 3.0 x4 左右,加载慢个几十秒,稳跑起来没问题。老特说的"有 SGLang 问题不大"就是这个意思——它只是加载/offload 路径,不是 decode 路径。2. 想一张卡做 TP(tensor parallel),把一个大模型拆到两卡上
这时候 PCIe 就是硬瓶颈了。每层计算完要把中间结果通过 PCIe 传给下一卡,第二张卡若在芯片组 x4 槽,等于每次前向都在 x4 上过一遍,decode 会掉得很难看。要跑正宗的 TP,得两块卡都走 CPU 直连的 x16/x8(x8+x8 也行),而且最好开 P2P。X99-TF 这种单路板给不出第二条 CPU 直连 x16。如果你要的是第 2 种,几条路:
- 换支持 x8/x8 拆分的单路 X99(比如 X99-AD4 这类),E5-2686v4 配着用,便宜。
- 或者上双路 X99 板,CPU 直连槽位多,两个 x16 都走 CPU。
- 但注意:RDNA 显卡在 vLLM 上本来就没有官方 TP 支持(得用 JartX 那种 fork 自己打通 RCCL),llama.cpp Vulkan 的 tensor-split 倒是能跑,吃的是容量不是速度。
另外补一句:X99 平台通常没有 ReBAR 选项,这是正常的,而且 ReBAR 对推理根本没有影响,别为了它换板。
一句总结:纯跑两个实例 → X99-TF 单 x16 能用,别折腾;想单模型双卡 TP → 必须双 CPU 直连 x16,X99-TF 给不出来。
-
@neo 3080的问题是不能跑comfyui,其他的,你要多个3.0 x16或者4.0 x 8的PICE接口,这个板U不会便宜,不过肯定比买4080S跑大模型划算。开放式机架可以解决。
-
@johnnybegood 现在已经是双3080了,可惜主板不能插3张,不然倒想试试,现在即使4张3080也才一张4080S的价格。