Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
从 v0.1.41 升到v0.1.43, 其它设置都没动, 同样的任务, 我的5070 从90+tps 升到120+tps (iq2_xs, win11, 48G ddr4) 7900xtx 少些, 从60+tps升到70+tps (iq3_s, truenas scale, 128G ddr4)
大家快升级吧!!!
v0.1.43,R9700是PREFILL提升到2500左右
提了7-8%的感觉,上个版本我用的256K X tp2, 现在用384K X tp2,综合跑OCR 没有感觉到降速。
我3090昨天升级到 v0.1.42 感觉降了... 等等升到v0.1.43 试试
等等在升级,空了也升级一下
我的Strata 還卡在 v0.1.38 歷史的塵埃中
@stxpnet IQ4_XS也有120t/s吗?那是真可用了
@kos-or
新版有CUDA的優化,還是更新一下吧。
昨天刚升完0.1.42,,咋又更新了, 肝帝啊
@paul-hou
好的Paul, 謝謝提醒, 正在測試 DSH + QFN 新花招 看它能玩出什麼花樣 等下要換Uncensored 版本的 或許操作彈性更高
感觉是快了一点,主要体现在峰值上,低谷似乎没有太大变化
Niko1221真是个怪物啊,从天而降,感觉O/A会想办法给他做掉
我的 token 生成速度提升了 10 tok/s。
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!
奖励凭证:热议 +3 分 · 编号 h2274-3843-1(系统自动发放,显示稍有延迟)
我怎么感觉像是不同类型测试文本投机解码的影响..我晚上回去也还是看。
这都特么能热议,可见这个strata火爆程度。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。
有了你的建议,这篇帖子会更精彩哦 💗