Swift-1.5-Qwen3.8-Flash-Next-Q4_K_XL + QFN3.8 UD 3.1的NGRAM表 简单评测

[stxpnet]

https://huggingface.co/ethanwtodd/Swift-1.5-Qwen3.8-Flash-Next-Q4_K_XL-GGUF/tree/main

我的本意是跑内置表试试，因为我找了一圈没有找到哪个模型把它的NGRAM表分离出来。谁知道HERMES自作主张给我加上了QFN3.8 UD3.1的 Q8_0 NGRAM，然后居然也能用。

写简单的俄罗斯方块，比UD3.1的IQ4_XS，成品少了100多行，也没有那么惊艳

鹈鹕半成品比 UD3.1的IQ4_XS的效果要好点：

[kos or]

本地 deepseek flash 1017 用哪一個量化版本的呢？本地跑很慢 可能它比較適合非常困難的任務

[applejuice]

@stxpnet 我都是在用iq4_xs 不懂差多少

[wml-ai]

@stxpnet 说:

于是我换了UNSLOTH的UD -Q4_K_XL ,感觉智商会高一点，但是思考非常长，实际任务经常看到它的思维链来回拉扯。

我是让云端模型搭框架, 让本地QFN-UD -Q4_K_XL模型去执行, 这样似乎就没有长思考的问题.

[paul hou]

我是用這個模型
frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700
思考有短一點，明顯有比IQ3_S聰明，但DECODE速度有比較慢。

[fcys]

我的395在用。。。
Halogen v2 原生的 4-bit HT 量化

[johnnybegood]

用过，官方也说了这个会特别慢

[好米玉]

剛剛我IQS3 換IQ4 XL跑2天 感覺智力有差別 值得變慢一點

[stxpnet]

@applejuice 要跑复杂一点的真实项目，和glm5.3 flash或者deepseek flash 1017一对比，立马原型毕露。。。。
目前我的体感 deepseek flash 1017 > glm 5.3 flash > 本地QFN 3.8

[stxpnet]

@kos-or 说:

本地 deepseek flash 1017 用哪一個量化版本的呢？本地跑很慢 可能它比較適合非常困難的任務

目前来说速度不达标，不考虑，不折腾。
现在好几家国外API公司的 deepseek flash 1017都是白菜价。10美元左右的档位。直接站起来蹬。 智商是QFN 3.8的3-6倍吧。 这让我们这些本地卡算力不够的玩家很尴尬。

我的真实任务目前都以这个deepseek flash在线API 为核心， 本地 QFN3.8只配给它提鞋干杂活。