7900xtx单卡魔改Strata跑Qwen3.8 flash next PP1300+ TG60-90

[terry]

非常不错，弄个抄作业的帖子，资源分享下，可以参考弄个开源项目：
https://lcz.me/projects/local/dcs

[张光璞]

我昨天是让GLM 帮我弄的，最终跑在50 左右的速度，但在发一句话等太久。完全没有sglang 的爽脆。还是要大神出手才有救哇

这套架构吃CPU

[applejuice]

@张光璞 不能把2块7900xtx 利用起来？

折腾下 把r9700 跑起来

[张光璞]

@applejuice 说:

@张光璞 不能把2块7900xtx 利用起来？

折腾下 把r9700 跑起来

已经双7900xtx了

[flyer666]

@张光璞 双卡有更快吗？我把第二张卡拆掉反而更快

[张光璞]

@flyer666 说:

@张光璞 双卡有更快吗？我把第二张卡拆掉反而更快

还是50t ，但是双卡的gpu 占用都低了，以前能90+% 现在双卡gpu 占用都 不超 过75%

[flyer666]

@张光璞 可以试下我的branch，单卡可以65tok/s，但是pp得看你的PCIE带宽

[张光璞]

@flyer666 说:

@张光璞 可以试下我的branch，单卡可以65tok/s，但是pp得看你的PCIE带宽

我这个已经打上了您补丁。 但刚刚wtftj又发布了V0.1.31 我正在奴役GLM 帮我弄。

我的Q3模型不是官方推荐的，用的越狱版，跟原版应该有点差异。

[flyer666]

@张光璞 我10分钟前更新了branch链接

[flyer666]

他这个双卡是layer parallelism，一般来说pp会上升，tg会略有下降

[张光璞]

@flyer666 说:

@张光璞 我10分钟前更新了branch链接

我正在弄，感谢大佬们的努力