<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[测了一下Tenary Bonsai 27B,55 tok/s，工具调用 不太理想  我愿称之为16G+显卡 价值检测器。]]></title><description><![CDATA[<p dir="auto">最近在HF社区还是挺火的 <img src="https://upload.lcz.me/uploads/cee9faf9-e103-479f-a467-12aaf57005f6.jpeg" alt="75dc056e-37c0-4d22-86c1-5a44d6ec88d6-image.jpeg" class=" img-fluid img-markdown" /><br />
下载前想着是穷人 的解药，是不是能让 20G显存实现27B 90%的性能和智商？<br />
下载后一测，个人认为和QWEN 3.6 9B一个水平，应该还是欠缺优化，无法恢复原始模型的行为和精度。<br />
16G+带tensor core的显卡应该都可以玩，在占用满90%-95%显卡的情况下，如果模型能正常跑。<br />
速度如果是 x tokens /s<br />
那么你的显卡价值 =  RTX3090 24G的市场价 / 55 * x。</p>
<p dir="auto">我用的是168K上下文，双F16 K V缓存。<br />
简单的问题都是失败，我已经按官方推荐设置温度0.7，开启思考模式。<br />
全程速度都非常稳, 55T/s。</p>
<p dir="auto">一句话的俄罗斯方块，无法运行。<br />
带提示词的俄罗斯。<br />
<img src="https://upload.lcz.me/uploads/122ea610-1a5b-48bf-9d6e-8abbde2c505f.jpeg" alt="994508f5-6e24-442e-97b2-f5956cfd7f4e-image.jpeg" class=" img-fluid img-markdown" /><br />
<img src="https://upload.lcz.me/uploads/09bd76f8-1505-4e1b-a5b9-be5c25a31a9e.jpeg" alt="adffea73-f2df-4886-a205-e2b19e746ade-image.jpeg" class=" img-fluid img-markdown" /><br />
完成度还行吧。 这个俄罗斯的消行 火花挺好看的。 但是最后一行经常有残影，很难看。</p>
<p dir="auto">一句话的坦克大战，跑了4分钟，最后无法运行。</p>
<p dir="auto">最后再测一下evalbench吧：<br />
<img src="https://upload.lcz.me/uploads/0054bf81-f90f-4f8b-bd75-1516bb1aad61.jpeg" alt="63842ddf-9d76-4bf0-9d7e-424e686aeb62-image.jpeg" class=" img-fluid img-markdown" /><br />
时间太长了，分数也不算高，全参数，262K上下文并没有实用性。 SHIFT+DELETE是它最后的归宿。</p>
]]></description><link>https://lcz.me/topic/930/测了一下tenary-bonsai-27b-55-tok-s-工具调用-不太理想-我愿称之为16g-显卡-价值检测器</link><generator>RSS for Node</generator><lastBuildDate>Sun, 26 Jul 2026 18:30:05 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/930.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 26 Jul 2026 15:41:17 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 测了一下Tenary Bonsai 27B,55 tok/s，工具调用 不太理想  我愿称之为16G+显卡 价值检测器。 on Sun, 26 Jul 2026 18:19:52 GMT]]></title><description><![CDATA[<p dir="auto">這模型我也試過, 就是用我自己平常測試的簡單prompt, 它一開始已經掉入無限loop。</p>
]]></description><link>https://lcz.me/post/10619</link><guid isPermaLink="true">https://lcz.me/post/10619</guid><dc:creator><![CDATA[rori]]></dc:creator><pubDate>Sun, 26 Jul 2026 18:19:52 GMT</pubDate></item></channel></rss>