7900xtx单卡魔改Strata跑Qwen3.8 flash next PP1300+ TG60-90

[Ben Lee]

大神果然是大神，一出手就知道有没有。最近两周我测了很多Flash Next，要么decode高prefill低，要么decode低prefill高。我赶紧试试这个

[abenzhu]

qwen flash刚好卡在甜点配置上，如果Deepseekv4 flash和glm 5.3 flash能跑出一半的水平就牛了，但似乎很难。

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f2016-2645-1（系统自动发放，显示稍有延迟）

[terry]

非常不错，弄个抄作业的帖子，资源分享下，可以参考弄个开源项目：
https://lcz.me/projects/local/dcs

[张光璞]

我昨天是让GLM 帮我弄的，最终跑在50 左右的速度，但在发一句话等太久。完全没有sglang 的爽脆。还是要大神出手才有救哇

这套架构吃CPU

[applejuice]

@张光璞 不能把2块7900xtx 利用起来？

折腾下 把r9700 跑起来

[张光璞]

@applejuice 说:

@张光璞 不能把2块7900xtx 利用起来？

折腾下 把r9700 跑起来

已经双7900xtx了

[flyer666]

@张光璞 双卡有更快吗？我把第二张卡拆掉反而更快

[张光璞]

@flyer666 说:

@张光璞 双卡有更快吗？我把第二张卡拆掉反而更快

还是50t ，但是双卡的gpu 占用都低了，以前能90+% 现在双卡gpu 占用都 不超 过75%

[flyer666]

@张光璞 可以试下我的branch，单卡可以65tok/s，但是pp得看你的PCIE带宽

[张光璞]

@flyer666 说:

@张光璞 可以试下我的branch，单卡可以65tok/s，但是pp得看你的PCIE带宽

我这个已经打上了您补丁。 但刚刚wtftj又发布了V0.1.31 我正在奴役GLM 帮我弄。

我的Q3模型不是官方推荐的，用的越狱版，跟原版应该有点差异。

[flyer666]

@张光璞 我10分钟前更新了branch链接

[flyer666]

他这个双卡是layer parallelism，一般来说pp会上升，tg会略有下降

[张光璞]

@flyer666 说:

@张光璞 我10分钟前更新了branch链接

我正在弄，感谢大佬们的努力