<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Strata 跑QFN3.8 各种量化的 KLD及PPL 图表【转载】]]></title><description><![CDATA[<p dir="auto">作者的hf模型卡URL： <a href="https://huggingface.co/AesSedai/Qwen3.8-Flash-Next-GGUF" rel="nofollow ugc">https://huggingface.co/AesSedai/Qwen3.8-Flash-Next-GGUF</a></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/80e024e5-56cd-4600-a0bf-cf8b0bdf6c6e.jpeg" alt="{599D0A86-512F-4584-8423-F4B431B911D3}.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/934f150e-5e10-468a-ae1d-bebe92abc2e6.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/42f44f76-c3a5-49c6-871d-d41db5b8503e.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">注意，此表只能反映该模型作者自己各种量化等级的KLD和PPL。<br />
但我可以根据它来进行模型的选择。 我目前机器上跑的是HUIHUI的V2，UD_Q4_XL V2【113G】（作者号称对编程和写作有优化）:<br />
<a href="https://huggingface.co/huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF/tree/main/unsloth-UD-Q4_K_XL-V2" rel="nofollow ugc">https://huggingface.co/huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF/tree/main/unsloth-UD-Q4_K_XL-V2</a><br />
但这个模型的N-GRAM表大致是IQ4_NL的，于是 我下载了：<br />
<a href="https://huggingface.co/mduca771/Qwen3.8-Flash-Next-PLE-tables-GGUF/tree/main" rel="nofollow ugc">https://huggingface.co/mduca771/Qwen3.8-Flash-Next-PLE-tables-GGUF/tree/main</a> （只下载其中的Q8_0的 PLE表）。</p>
<p dir="auto">如此情况下，模型的体积大概来到了骨干 82.5G（不含内嵌表）+ 外置 Q8 表 51G（/n2）+ pack 1.4G + mmproj 866M =135GB。</p>
<p dir="auto">KLD和PPL应该和图表 上Q4_KM的那个模型一致，估计 KLD为0.03%左右，PPL为 +0.5%左右。<br />
实测填充和生成速度和HUIHUI UD_Q4_XL V2相差无几。 【我的环境 是直接把PLE表放RAM里面跑） 。</p>
<p dir="auto">体感上面相比我之前用过的IQ4_XS和IQ3_S 都要慢。</p>
]]></description><link>https://lcz.me/topic/2463</link><generator>RSS for Node</generator><lastBuildDate>Mon, 26 Oct 2026 04:29:55 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2463.rss" rel="self" type="application/rss+xml"/><pubDate>Tue, 20 Oct 2026 14:26:21 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Strata 跑QFN3.8 各种量化的 KLD及PPL 图表【转载】 on Tue, 20 Oct 2026 16:13:51 GMT]]></title><description><![CDATA[<p dir="auto">鹈鹕很忙，huihui模型口碑很好，没听说有什么副作用。</p>
]]></description><link>https://lcz.me/post/26282</link><guid isPermaLink="true">https://lcz.me/post/26282</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Tue, 20 Oct 2026 16:13:51 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 跑QFN3.8 各种量化的 KLD及PPL 图表【转载】 on Tue, 20 Oct 2026 15:50:20 GMT]]></title><description><![CDATA[<p dir="auto">这套配置下写的鹈鹕骑车,细节相对丰富一点,</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/5dcef2a2-53bc-46a7-874b-d3f3c6abaa80.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /><br />
但是 没有HUIHUI UD_Q4_XL V2 思考那么干脆.</p>
<p dir="auto">另外问一下，非原版模型 （比如这个huihui消融的）写代码，会导致代码困惑度增加？</p>
]]></description><link>https://lcz.me/post/26270</link><guid isPermaLink="true">https://lcz.me/post/26270</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Tue, 20 Oct 2026 15:50:20 GMT</pubDate></item></channel></rss>