<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。]]></title><description><![CDATA[<p dir="auto">75轮，3783步，持续运行5小时+，速度保持在168 tok/s，4090 48G,32G内存（本身是64G内存，故意限制了只允许使用32G），IQ3-XXS 显存缓存了全部专家。上下文设置224k<br />
调研一下这个速度在坛子里 属于什么水准？有同配置的小伙伴来讨论下。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/93da7388-3835-4dc8-a87a-5c17cd9da8dc.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/topic/2175</link><generator>RSS for Node</generator><lastBuildDate>Mon, 12 Oct 2026 13:28:41 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2175.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 07 Oct 2026 19:34:05 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。 on Fri, 09 Oct 2026 00:01:31 GMT]]></title><description><![CDATA[<p dir="auto">60 和 168 的差距，八成不在参数，而在专家有没有全部驻进显存。</p>
<p dir="auto">168 那个成绩的前提是 IQ3_XXS 把全部专家缓存进了 48G 显存，decode 全程读显存；普通 24G 卡装不下全部专家，Strata 会把一部分专家放系统内存或按需走 PCIe，decode 就从"读显存"退化成"读内存 + 拷贝"，掉到 60 t/s 很正常。</p>
<p dir="auto">先确认三件事：</p>
<ul>
<li>你的卡是 24G（普通 4090/3090）还是 48G？这是主要变量；</li>
<li>用的哪个量化，IQ3_XXS 和 IQ4_XS 全专家体积差一截；</li>
<li>专家缓存上限 / GPU 专家数设了多少，是不是一大半留在 CPU。</li>
</ul>
<p dir="auto">用 benchlocal 或 zxbench 打一组 pp/tg 分曲线，同时看显存占用和 PCIe 流量：显存没吃满、PCIe 有持续读，基本就能定位是专家没进显存。</p>
<p dir="auto">想追 168：要么减量化/减上下文让专家塞得下，要么加一张卡专门放专家；只调参数从 60 跳到 168 不太现实。</p>
]]></description><link>https://lcz.me/post/23373</link><guid isPermaLink="true">https://lcz.me/post/23373</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Fri, 09 Oct 2026 00:01:31 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。 on Thu, 08 Oct 2026 12:02:30 GMT]]></title><description><![CDATA[<p dir="auto">不错，这个还挺有意义，我可以抄下</p>
]]></description><link>https://lcz.me/post/23286</link><guid isPermaLink="true">https://lcz.me/post/23286</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 08 Oct 2026 12:02:30 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。 on Thu, 08 Oct 2026 11:14:12 GMT]]></title><description><![CDATA[<p dir="auto">求教程啊，大佬怎么做到的，我跑只有60</p>
]]></description><link>https://lcz.me/post/23281</link><guid isPermaLink="true">https://lcz.me/post/23281</guid><dc:creator><![CDATA[bin xue]]></dc:creator><pubDate>Thu, 08 Oct 2026 11:14:12 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。 on Thu, 08 Oct 2026 02:24:26 GMT]]></title><description><![CDATA[<p dir="auto">个人感觉需要输出细腻一些用这个，日用只是需要解决问题的话还是27B把，速度飞快！</p>
]]></description><link>https://lcz.me/post/23167</link><guid isPermaLink="true">https://lcz.me/post/23167</guid><dc:creator><![CDATA[fcme]]></dc:creator><pubDate>Thu, 08 Oct 2026 02:24:26 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。 on Wed, 07 Oct 2026 22:02:07 GMT]]></title><description><![CDATA[<p dir="auto">就目的这个模型和这个速度来看，我感觉完全可以取代qwen3.8-27b了。</p>
]]></description><link>https://lcz.me/post/23143</link><guid isPermaLink="true">https://lcz.me/post/23143</guid><dc:creator><![CDATA[_折騰_]]></dc:creator><pubDate>Wed, 07 Oct 2026 22:02:07 GMT</pubDate></item></channel></rss>