新手请教16G显存32G内存装哪个版本的模型

[exllm]

台账优先肯定选在线API

[perter]

@long-cheng
你这个配置有点尴尬，先跑一个轻量的Qwen3.8-27B试一试，以后升级内存还是跑QFN效果更好一点。可以参考下面这个帖子。
https://lcz.me/topic/2250

[un1980]

Qwen3.8-27B 3位量化的那个版本， 是当前最优的了。 我用自己编译的NInfer，在4080 32Gddr5的配置下 能跑到100-130tokens/s 。很满足了。

[long cheng]

@perter OKOK，我去看看

[perter]

@long-cheng
https://github.com/ggml-org/llama.cpp/releases
先下载这两个文件后解压合并到一个文件夹，再把模型文件下载放到指定的文件夹即可。
Windows x64 (CUDA 13)
CUDA 13.4 DLLs

[Tony Wang]

@long-cheng

我觉得升级成64G内存比较好, 内存现在很贵, 但是短期内可能只会更贵. 随着strata这种显存, 内存, SSD 混合的架构, 逐渐成熟, 内存一定会越来越有用.

你16G显存如果跑27B稠密 3bit 量化的版本, 你的上下文也会受到很大的限制. 你升级显卡的话, 要面临各种选型的问题, 但是你32G内存, 或早或晚, 都要面临扩容的眼里.

所以我建议你升级成64G内存, 起码可以再战一段时间.

[long cheng]

@un1980 厉害厉害

[九门奇人]

32G内存配你的5080 16G也是能跑起来的。STRATA上有介绍，让你的AI搞定就行了

[imbiplaza ASUS]

就等于你租房子和买房子的道理是一样。。。。
东西越来也贵，价格越来也高，1 就现在买，2就是等崩盘，3就是租token
如果你连32g 都要想半天的话，其实可以先试一试先租token，
然而等你token钱花的七七八八，你就会想起为什么当初不干脆去买
我们所谓的token钱很省的代价是包月，5小时限制，每个星期固定reset，如果api 形式就必须度量你可以承担的消费数额

[PhilipShi2026]

16G显存可以试试Ninfer。
我用笔记本跑的情况，供参考 https://lcz.me/topic/2381
32K CTX太小了，Agent得不停压缩上下文，作为本地大模型，至少64K以上，17K tps才可用。