双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！

[Hackner Weinland]

prefill这么猛，decode又这么弱，感觉不太正常

[懒人烘培]

@johnnybegood 反复调试参数后，如果prefill接近5000，吐字速度就慢，反复设置，确实这个方面要差些

[懒人烘培]

@Hackner-Weinland 如果prefill接近5000，吐字速度就慢，另外一版参数测试prefill为3223，吐字大概有70-80tok/s

[懒人烘培]

@imbiplaza-ASUS 我也觉得有这个方面的问题，先将就用，暂时不换U，可能会损失些性能

[懒人烘培]

@Hackner-Weinland 今天我又再次调整了参数，效果有明显的提升

调整了什么
核心是 presence_penalty 从默认 1.5 改为 0。同时显式设置 frequency_penalty=0、repetition_penalty=1。
原来的 pipeline-windows=2 已开启，但惩罚设置会让 Decode 回退串行；关闭惩罚后，双卡流水线得以生效。其余性能参数见图：

[HHFu517]

佬，请问你的双卡7900xtx只能在Linux中跑吗？可以跑在Windows下吗？以及还想请问一下就是主板是什么可以推荐吗？我现在是5950X+64GDDR4+7900xtx，在win下跑的，我想看看加一张7900xtx是否会有一些值得做的提升嘞？

[Hackner Weinland]

@懒人烘培 这个prefill太猛了，如果单卡的话，还能保持一半的prefill和88的decode速度么?

[懒人烘培]

@HHFu517
1.可以在windows上跑，我大模型主要是在ubuntu下配置。硬件采用的是ubuntu+windows双系统。由于硬盘空间有限，暂时还没有把模型配置在windows下。还有一点需要注意，使用双卡层拆分这个必须在ubuntu下，windows暂不支持此功能。
2.我用的是MSI X670E carbon wifi 主板DDR5平台，看你是DDR4平台，还没有研究D4主板的AMD平台，还不能给你推荐。
3.你现有主板如果支持拆分pic-e X8两条，可以插入在插入一张显卡，不过单张7900XTX也已经很强了。

[懒人烘培]

@Hackner-Weinland 嗯，具体单卡是效果如何，需要进一步测试，我找时间测试一下

[懒人烘培]

@Hackner-Weinland 单卡和双卡测试对比

但单卡结果存在明显限制：

• 直接沿用双卡参数，仅关闭分层、流水线并限制为 GPU 0，没有针对单卡调优。
• 专家缓存由双卡约 40.1 GiB 降为单卡 17.4 GiB。
• 单卡曾触发可用显存仅约 510 MiB 的告警；128K 两次 Decode 分别为 28.2、74.7，波动很大。
  因此，这张表代表现有方案缩成单卡的实际损失，不能作为单张 7900 XTX 的最佳性能上限，仅供参考，具体还需要单卡7900XTX后续调优后再测试

[Hackner Weinland]

单卡好像差的不成正比，上下文192k，256k能跑么？

[懒人烘培]

@Hackner-Weinland 主要单卡没有调优，我主要是双卡，偷懒没有花时间去优化参数，就是是默认的。我估计128K会比较舒服，如调优后prefill应该会达到2500左右。具体还是进一步实测