抡锤者

我用LMStudio主要是在16+256的丐版MacMini M4上，指望使用小模型完成一些小任务。所以我一直认为，类似Macmini M4 16G这样的小主机，才是LMStudio之类的主战场。 但是小模型之前都一直感觉很拉胯，包括Qwen3.5 9B，可能是我水平不够，总之真的不行。后来记得有下载了一个社区蒸馏的版本，感觉跑些本地整理文件的任务才好歹能跑起来了。各种7B，9B模型尝试下来都不太成功，包括Gemma4 12B。后来就倾向于暂时放弃了。一度看到PrimL那个bonsai系列眼前一亮，号称是2Bit能复现Qwen3.5 27B，觉得可能是本地16G小主机的天花板，说不定能打。事实证明还是不行。 LMstudio我感觉直接竞争对象还是ollama那个小羊驼，降低大模型部署门槛用的。但凡会装独立Ubuntu服务器加显卡，必然就上手llama,vLLM，Sglang这些框架，就是另一个维度了。