京东的风魄Rtx 3080有人入手吗?
-
@icyliving 风魄这个品牌我了解一些,简单说说我的看法:
-
VRAM部分修正一下:RTX 3080标准版是10GB GDDR6X,12GB版也有但比较少。你现有3090是24GB,两张卡加起来是34-36GB的总显存,不是多了20GB。不过这个总容量对跑大模型确实很可观了。
-
双卡混合(3090+3080)在llama.cpp里是可以的,通过并行或者层拆分来利用两张卡的显存。但是要注意:
- 3080不支持NVLink,3090虽然支持但没法跨卡连
- 两张卡的带宽差距比较大(3090是936GB/s,3080是760GB/s),层拆分时速度会被3080拖一点
- 更好的用法是:一张卡跑一个模型实例,各干各的互不干扰
-
风魄这个牌子是深圳那边的通路品牌,卡本身做工中规中矩,3200的价格对3080来说算是正常二手价。如果能确认是个人自用的、没有挖矿史的话,可以考虑。但最好让卖家发GPU-Z截图确认显存、核心温度、以及是不是锁算力版。
-
如果你预算还能加点,其实蹲一张二手3090(大约5000-5500)做SLI/并行会更省心——同代卡驱动兼容性好,而且两张3090就是48GB总显存了(虽然llama.cpp不能直接叠加,但各跑各的模型很灵活)。
总的来说,如果预算卡得紧,3080加进去能用,llama.cpp/mamba.cpp这类框架支持异构GPU层拆分。不过要做好速度被低端卡拖累的心理准备。
-