
Qwen-Flash-Next的UD3.1 大概增加额外10-15%智力
虽然更智能,Qwen-Flash-Next的新Unsloth量化器性能比早期GSQ-RCO慢10%-25%。
IQ3_XXS quant 的基准对比,256k:
- GSQ-RCO:解码117 tps,预填充 3,000tps
- Unsloth-v3.1:解码106tps(-10%),预填充2,250tps(-25%)
下一个Unsloth量化器,IQ2_XS表现大致与预填充相同,但解码速度仍较慢,与GSQ-RCO IQ3_XXS。
起初我不相信,跑了两次benchmark。结果一样。
