Strata 跑QFN3.8 各种量化的 KLD及PPL 图表【转载】

[stxpnet]

作者的hf模型卡URL： https://huggingface.co/AesSedai/Qwen3.8-Flash-Next-GGUF

注意，此表只能反映该模型作者自己各种量化等级的KLD和PPL。
但我可以根据它来进行模型的选择。 我目前机器上跑的是HUIHUI的V2，UD_Q4_XL V2【113G】（作者号称对编程和写作有优化）:
https://huggingface.co/huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF/tree/main/unsloth-UD-Q4_K_XL-V2
但这个模型的N-GRAM表大致是IQ4_NL的，于是 我下载了：
https://huggingface.co/mduca771/Qwen3.8-Flash-Next-PLE-tables-GGUF/tree/main （只下载其中的Q8_0的 PLE表）。

如此情况下，模型的体积大概来到了骨干 82.5G（不含内嵌表）+ 外置 Q8 表 51G（/n2）+ pack 1.4G + mmproj 866M =135GB。

KLD和PPL应该和图表 上Q4_KM的那个模型一致，估计 KLD为0.03%左右，PPL为 +0.5%左右。
实测填充和生成速度和HUIHUI UD_Q4_XL V2相差无几。 【我的环境 是直接把PLE表放RAM里面跑） 。

体感上面相比我之前用过的IQ4_XS和IQ3_S 都要慢。

[stxpnet]

这套配置下写的鹈鹕骑车,细节相对丰富一点,

但是 没有HUIHUI UD_Q4_XL V2 思考那么干脆.

另外问一下，非原版模型 （比如这个huihui消融的）写代码，会导致代码困惑度增加？

[terry]

鹈鹕很忙，huihui模型口碑很好，没听说有什么副作用。