【交作业】双 7900 XTX跑Strata IQ3_S:262K实测,Prefill 5,147 tok/s 可抄作业
-
-
希望能有单卡优化的方法
-
这数字绝对啊,XTX你不是双卡吗我弟,你去测试下这个帖子啊:https://lcz.me/topic/2582
我就等着你的数据水视频了。 -
-
@懒人烘培 赶紧的,就等你和 @xiongjie-gao 了,我先水一期,留个悬念。

-
-
-
-
@Enigma 是呀,@xiongjie-gao 作业抄得如何?
-
-
@Enigma 是呀,@xiongjie-gao 作业抄得如何?
-
@懒人烘培 你把我的预设打破了,你这双并发的数据比我两组两槽四并发的方案好太多,我都怀疑我这边的调教空间了。
所以多做了几组方案的优化,事实证明是我贪了。超预期那波提升是你的CPU承担了部分MOE的计算工作。但你这数据是有干货的。


基本结论是以15%左右的TTFT延时,取得40%左右的关键数据提升。这生意是挣的
日子也是好起来,从最初未优化40token/s到现在90+,仍觉得还有优化的空间。 -
@terry 刚刚又研究了一下博主文章他这个用得是Radiance 只支持RDNA4,不支持RDNA3,问了gpt也是这样的结论。如果一定要用,需要自行补齐 RDNA3 内核支持。我也开始尝试移植,看能否成功
-
@懒人烘培 可以跑,W7900已经跑通了,它实际上就是7900XTX 48G,你让Agent研究下。主要不是跑起来,而是整个流程的效率提升。目前看测试是单步提升很大,但是总体上只快了一半。
-
github上看到了这个https://github.com/nicejunjie/Strata-rdna3,作者好像就是AMD的人,双7900xtx prefill能干到6000+了
-
github上看到了这个https://github.com/nicejunjie/Strata-rdna3,作者好像就是AMD的人,双7900xtx prefill能干到6000+了
-
@yin-meng 我测试过了,贼强,他的master只支持avx512 cpu, avx2的cpu要用这个分支 https://github.com/nicejunjie/Strata-rdna3/pull/1
-
github上看到了这个https://github.com/nicejunjie/Strata-rdna3,作者好像就是AMD的人,双7900xtx prefill能干到6000+了
-
@yin-meng 我测试过了,贼强,他的master只支持avx512 cpu, avx2的cpu要用这个分支 https://github.com/nicejunjie/Strata-rdna3/pull/1
-
我的测试结果是avx2 最快能顶到6000 pp 大部分是5100~5500, decode也非常牛,dsh 跑一个session下来平均117~120