为什么我的256G内存+24G显存无法让LM Studio跑deepseek-v4-flash？

[stxpnet]

再说了,生产级要跑起来,有个比较简单的公式, 模型权重要小于 显存的66%左右.比如我24G显卡,一般我都找18G以下的模型,这样才有足够的显存留给框架和KVCACHE . 你的这种情况那个模型都160G了, 按公式算也要 240G+. 不过FASTLLM的原理应该是把有些不重要的权重放在SSD上面了. 要怎么拆显存+内存 账本你可以问下高级AI.

[书呆子]

@kos-or 我怕显存不够，已经尽量降低显存占用了，但还是根本无法加载模型。速度快慢是一回事，能不能运行是另外一回事。实在不行也只有尝试其它模型了。

[kos or]

@书呆子 等你跑完大概Deepseek-V5-flash 又要等你測試了 先弄現實場景可以產生生產力的, 除非你是實驗室研究員或科學家;
Deepseek-V4-flash 有人用DGX Spark 128GB x 2 兩台跑才有現實實用性

[ye9ok]

@书呆子 说:

图像生成模型也都无法在LM Studio中。肯定啊，LMS就不是干这个的，好比你让电工去烧锅炉……