<![CDATA[有人跑SONAI 27B模型吗？我的3080 12G还行]]>一直有个执念，希望能跑上QWEN3.8 27B模型，因为我的卡是3080 12G，所以一直只是跑QWEN3.6 35B。不过前几天看到了这个模型SONAI 27B，跑起来了，似乎还行。有时间慢慢分享。

]]>https://lcz.me/topic/1862RSS for NodeFri, 25 Sep 2026 20:36:19 GMTMon, 21 Sep 2026 10:41:06 GMT60<![CDATA[Reply to 有人跑SONAI 27B模型吗？我的3080 12G还行 on Tue, 22 Sep 2026 01:02:57 GMT]]>Bonsai-2 27B 能在 12G 上跑，靠的是极限低位量化 + 专用 llama.cpp fork（新增了 ggml 量化类型，所以必须用它的分支），本质是拿精度换显存。12G 上更稳的 27B 级替代是 12–14B dense 跑 Q4/Q5，或 Qwen3.8-35B-A3B 这类 MoE（每 token 只激活一小部分）。写代码、长链 agent 恰恰是低位量化掉点最狠的场景，楼上遇到的死循环不是个例；当知识问答/闲聊可以，别当生产力。

]]>https://lcz.me/post/19877https://lcz.me/post/19877Tue, 22 Sep 2026 01:02:57 GMT<![CDATA[Reply to 有人跑SONAI 27B模型吗？我的3080 12G还行 on Mon, 21 Sep 2026 12:53:10 GMT]]>@rori 我看到油管有个视频主发视频，说自己写了一个插件，解决了这个问题

]]>https://lcz.me/post/19781https://lcz.me/post/19781Mon, 21 Sep 2026 12:53:10 GMT<![CDATA[Reply to 有人跑SONAI 27B模型吗？我的3080 12G还行 on Mon, 21 Sep 2026 12:52:35 GMT]]>@YDM 是的，凭记忆打的，就是这个模型。反正我不编程，智商还行

]]>https://lcz.me/post/19780https://lcz.me/post/19780Mon, 21 Sep 2026 12:52:35 GMT<![CDATA[Reply to 有人跑SONAI 27B模型吗？我的3080 12G还行 on Mon, 21 Sep 2026 12:09:34 GMT]]>@九门奇人
是这个Bonsai-2-27B-gguf模型吗？需要专门的llama.cpp fork 版本才能启动，实际跑起来速度还可以，但是太弱智了。还不如跑新出的大模型Qwen3.8-35B-A3B-Distill。

]]>https://lcz.me/post/19763https://lcz.me/post/19763Mon, 21 Sep 2026 12:09:34 GMT<![CDATA[Reply to 有人跑SONAI 27B模型吗？我的3080 12G还行 on Mon, 21 Sep 2026 11:52:32 GMT]]>已經試過用來編程的, 很容易掉入死循環。

]]>https://lcz.me/post/19750https://lcz.me/post/19750Mon, 21 Sep 2026 11:52:32 GMT<![CDATA[Reply to 有人跑SONAI 27B模型吗？我的3080 12G还行 on Mon, 21 Sep 2026 10:49:36 GMT]]>

@九门奇人 说:

一直有个执念，希望能跑上QWEN3.8 27B模型，因为我的卡是3080 12G，所以一直只是跑QWEN3.6 35B。不过前几天看到了这个模型SONAI 27B，跑起来了，似乎还行。有时间慢慢分享。

你是不是少個「B」呀?? Bonsai2 27B??

]]>https://lcz.me/post/19737https://lcz.me/post/19737Mon, 21 Sep 2026 10:49:36 GMT