测了一下Tenary Bonsai 27B,55 tok/s，工具调用 不太理想 我愿称之为16G+显卡 价值检测器。

[stxpnet]

最近在HF社区还是挺火的
下载前想着是穷人 的解药，是不是能让 20G显存实现27B 90%的性能和智商？
下载后一测，个人认为和QWEN 3.6 9B一个水平，应该还是欠缺优化，无法恢复原始模型的行为和精度。
16G+带tensor core的显卡应该都可以玩，在占用满90%-95%显卡的情况下，如果模型能正常跑。
速度如果是 x tokens /s
那么你的显卡价值 = RTX3090 24G的市场价 / 55 * x。

我用的是168K上下文，双F16 K V缓存。
简单的问题都是失败，我已经按官方推荐设置温度0.7，开启思考模式。
全程速度都非常稳, 55T/s。

一句话的俄罗斯方块，无法运行。
带提示词的俄罗斯。


完成度还行吧。 这个俄罗斯的消行 火花挺好看的。 但是最后一行经常有残影，很难看。

一句话的坦克大战，跑了4分钟，最后无法运行。

最后再测一下evalbench吧：

时间太长了，分数也不算高，全参数，262K上下文并没有实用性。 SHIFT+DELETE是它最后的归宿。

[rori]

這模型我也試過, 就是用我自己平常測試的簡單prompt, 它一開始已經掉入無限loop。