水一贴： Strata v0.1.43 又又又提速了

[exllm]

昨天刚升完0.1.42，，咋又更新了， 肝帝啊

[kos or]

@paul-hou

好的Paul, 謝謝提醒, 正在測試 DSH + QFN 新花招 看它能玩出什麼花樣
等下要換Uncensored 版本的 或許操作彈性更高

[Ray Wang]

感觉是快了一点，主要体现在峰值上，低谷似乎没有太大变化

Niko1221真是个怪物啊，从天而降，感觉O/A会想办法给他做掉

[seabass]

我的 token 生成速度提升了 10 tok/s。

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2274-3843-1（系统自动发放，显示稍有延迟）

[Bunsei]

我怎么感觉像是不同类型测试文本投机解码的影响..我晚上回去也还是看。

[terry]

这都特么能热议，可见这个strata火爆程度。

[rock shi]

@terry 太火了啊哥，120b参数的模型基本上啥机器都能跑了。27b我都直接删了

[NY Zhao]

确实快了很多啊，我感觉不止10%，我之前是平均150 t/s，现在是平均200 t/s，峰值300 t/s

[johnnybegood]

@J-Z-0 我靠受不了了， 中午的时候看还是 0.1.42 .....

[johnnybegood]

@NY-Zhao 你什么硬件平台？

[dardeaw feng]

@rock-shi 是的 量大管飽

[NY Zhao]

@johnnybegood Intel U7 270K，4090 48G, 128G DDR 5，技嘉的Z890，致态7100S，我现在已经完全用本地模型了，用GSQ-RCO的IQ3_S，简直太爽了

[johnnybegood]

@NY-Zhao 这平台用 IQ3可惜了， 应该换成 IQ4-无审查版， 智商提升一个等级， 关键还无审查。

[NY Zhao]

@johnnybegood 不是说GSQ-RCO的那个IQ3_S，已经接近基膜了吗？UD IQ4更好吗？我去试试

[NY Zhao]

@johnnybegood
这个，不知道对不对：

选型落地结论
如果日常用于：写代码、算法排错、做 Agent、逻辑与数学推演
选 GSQ-RCO IQ3_S。它用不到 4-bit 的显存实现了近乎 100% 的基模智商还原，且 token 吞吐和显存收益明显更高。

如果日常用于：多语言翻译、文风润色、极长上下文沉浸式对话、杂项通识百科
选 Unsloth UD-IQ4_XS。物理比特更宽，知识面的安全冗余更高。

[johnnybegood]

@NY-Zhao 不是 unsloth, 是 uncensored

[NY Zhao]

@johnnybegood 哦哦，我这个IQ3_S，已经是uncensored的了，我就是对比了下GSQ-RCO IQ3_S和Unsloth UD-IQ4_XS，感觉两个差不多唉