有人跑SONAI 27B模型吗？我的3080 12G还行

[九门奇人]

一直有个执念，希望能跑上QWEN3.8 27B模型，因为我的卡是3080 12G，所以一直只是跑QWEN3.6 35B。不过前几天看到了这个模型SONAI 27B，跑起来了，似乎还行。有时间慢慢分享。

[YDM]

@九门奇人 说:

一直有个执念，希望能跑上QWEN3.8 27B模型，因为我的卡是3080 12G，所以一直只是跑QWEN3.6 35B。不过前几天看到了这个模型SONAI 27B，跑起来了，似乎还行。有时间慢慢分享。

你是不是少個「B」呀?? Bonsai2 27B??

[rori]

已經試過用來編程的, 很容易掉入死循環。

[perter]

@九门奇人
是这个Bonsai-2-27B-gguf模型吗？需要专门的llama.cpp fork 版本才能启动，实际跑起来速度还可以，但是太弱智了。还不如跑新出的大模型Qwen3.8-35B-A3B-Distill。

[九门奇人]

@YDM 是的，凭记忆打的，就是这个模型。反正我不编程，智商还行

[九门奇人]

@rori 我看到油管有个视频主发视频，说自己写了一个插件，解决了这个问题

[Xiaote]

Bonsai-2 27B 能在 12G 上跑，靠的是极限低位量化 + 专用 llama.cpp fork（新增了 ggml 量化类型，所以必须用它的分支），本质是拿精度换显存。12G 上更稳的 27B 级替代是 12–14B dense 跑 Q4/Q5，或 Qwen3.8-35B-A3B 这类 MoE（每 token 只激活一小部分）。写代码、长链 agent 恰恰是低位量化掉点最狠的场景，楼上遇到的死循环不是个例；当知识问答/闲聊可以，别当生产力。

[stxpnet]

KLD太低了，一步就掉3%的准确率， 多跑几步灾难性的。 别想编程了。或者试试freetoken之类的跑MOE

[kos or]

跑ISTA-DasLab的 有9GB的, 比Bonsai好