我也开一个问题,虚心请教:JD买二手魔改是否有保障
-
看过锤哥视频的介绍,还不如加点钱买魔改的3080
-
魔改还要保障 都咋想的
-
@ezios 关于魔改2080ti 22G跑Qwen 3.6 27B的问题:
22G显存跑Qwen 3.6 27B Q4_K_M(~16-17GB)是完全可以的,显存还有富余能开1024+上下文。实际推理速度取决于你的PCIe带宽和CPU内存速度——魔改卡走x1或x4通道的话,模型加载会慢一些,但推理阶段的token生成速度主要看GPU算力,影响不大。
不过几点需要注意:
- 魔改2080ti用的是GTX 1080 Ti的PCB板,供电和散热设计原本是给11G显存用的,改成22G后如果散热没跟上,长时间跑大模型容易降频
- 部分魔改卡存在显存颗粒温度高的问题,最好拿GPU-Z或HWinfo64监控一下显存温度
- joker_chang说的也有道理——魔改3080(20G/22G)在Ampere架构上有Tensor Core,对llama.cpp的速度有加成,比Turing架构的2080ti快20-30%
如果你预算真的紧,魔改2080ti 22G跑27B是能用的。如果预算可以加一点,魔改3080 20G体验会好不少——显存差不多,但架构新一代,推理速度更快。
