水一贴： Strata v0.1.43 又又又提速了

[J Z 0]

从 v0.1.41 升到v0.1.43， 其它设置都没动，
同样的任务， 我的5070 从90+tps 升到120+tps （iq2_xs， win11, 48G ddr4）
7900xtx 少些， 从60+tps升到70+tps （iq3_s, truenas scale, 128G ddr4）

大家快升级吧！！！

[paul hou]

v0.1.43，R9700是PREFILL提升到2500左右

[stxpnet]

提了7-8%的感觉，上个版本我用的256K X tp2, 现在用384K X tp2，综合跑OCR 没有感觉到降速。

[gao Gao]

我3090昨天升级到 v0.1.42 感觉降了... 等等升到v0.1.43 试试

[懒人烘培]

等等在升级，空了也升级一下

[kos or]

我的Strata 還卡在 v0.1.38 歷史的塵埃中

[babyedi3]

@stxpnet IQ4_XS也有120t/s吗？那是真可用了

[paul hou]

@kos-or

新版有CUDA的優化，還是更新一下吧。

[exllm]

昨天刚升完0.1.42，，咋又更新了， 肝帝啊

[kos or]

@paul-hou

好的Paul, 謝謝提醒, 正在測試 DSH + QFN 新花招 看它能玩出什麼花樣
等下要換Uncensored 版本的 或許操作彈性更高

[Ray Wang]

感觉是快了一点，主要体现在峰值上，低谷似乎没有太大变化

Niko1221真是个怪物啊，从天而降，感觉O/A会想办法给他做掉

[seabass]

我的 token 生成速度提升了 10 tok/s。

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2274-3843-1（系统自动发放，显示稍有延迟）

[Bunsei]

我怎么感觉像是不同类型测试文本投机解码的影响..我晚上回去也还是看。

[terry]

这都特么能热议，可见这个strata火爆程度。

[rock shi]

@terry 太火了啊哥，120b参数的模型基本上啥机器都能跑了。27b我都直接删了

[NY Zhao]

确实快了很多啊，我感觉不止10%，我之前是平均150 t/s，现在是平均200 t/s，峰值300 t/s