【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功！ TTFT0.9s/PP2000/TG100tps(代码)！体验丝滑

[fcme]

另外这个还不是最终的版本，先不要抄作业。我会出个git的。

[dardeaw feng]

你這速度已經差不多等於我4090開ninfer了 逆天

[fcme]

@dardeaw-feng
所以AI时代即使小众的硬件也能优化出不错的速度，小众生态的表现也会越来越好的。再等个原生的mxfp4内核替换现在的PP速度就能到4000级别了，到那时SGlang在9700上就可以完爆paiton/vLLM方案了，现在还是互有胜负。

[fcme]

今天又让flash next精细的调了一下，最终成绩是PP2350/TG117左右（代码），相比上一版的checkpoint又有了15%左右的提升。

[Chan Sam]

@fcme 说:

另外这个还不是最终的版本，先不要抄作业。我会出个git的。

期待你的最终版;
另外请问你的5070ti也是用DDR3内存跑Strata 吗?跑qwen3.8 flash next Q3_S吗?速度如何?

[fcme]

实际用下来这个next flash，即使是IQ3xxs量化做长程任务，在dsh里面也是非常稳的，牛逼！

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2023-1686-1（系统自动发放，显示稍有延迟）

[fcme]

@Chan-Sam
对，我的服务器是pcie3.0的，两张卡都是走的3.0的通道。实际上对5070ti跑next flash有一丢丢影响，但是影响不是太大，几乎全程稳定在50上下，掉到47的时候已经做了可能七八十轮任务以后了，速度非常稳。

[Chan Sam]

@fcme 说:

@Chan-Sam
对，我的服务器是pcie3.0的，两张卡都是走的3.0的通道。实际上对5070ti跑next flash有一丢丢影响，但是影响不是太大，几乎全程稳定在50上下，掉到47的时候已经做了可能七八十轮任务以后了，速度非常稳。

5070ti + DDR3 128GB内存跑next flash IQ3_XXS吗?上下文可以多少?感谢!!!

[fcme]

@Chan-Sam
可以顶满格，但是速度就会掉下来，一般试用的话，感觉150k，200k就够了。多加载点专家到显存速度会更快的。

[Chan Sam]

@fcme 说:

@Chan-Sam
可以顶满格，但是速度就会掉下来，一般试用的话，感觉150k，200k就够了。多加载点专家到显存速度会更快的。

那我用R9700 32G 不就更好?这个我有现成,5070ti考虑中想买 所以请教一下你

[fcme]

@Chan-Sam
不会，因为r9700的绝对算力和带宽没有5070ti高。我在两张卡上都跑了r9700要稍微慢一点，不管是pp还是tp速度。你如果只跑这一个模型的话，无疑5070ti是更好一点，R9700的话，以后出了什么新的模型适配力强很多，不是一个级别的，显存还是王道。

[Chan Sam]

@fcme 说:

@Chan-Sam
不会，因为r9700的绝对算力和带宽没有5070ti高。我在两张卡上都跑了r9700要稍微慢一点，不管是pp还是tp速度。你如果只跑这一个模型的话，无疑5070ti是更好一点，R9700的话，以后出了什么新的模型适配力强很多，不是一个级别的，显存还是王道。

那我是要卖了R9700换5070ti好还是等你R9700最终版 好?

[fcme]

@Chan-Sam
这得看你的实际应用场景吧

[张光璞]

@fcme 说:

@dardeaw-feng
所以AI时代即使小众的硬件也能优化出不错的速度，小众生态的表现也会越来越好的。再等个原生的mxfp4内核替换现在的PP速度就能到4000级别了，到那时SGlang在9700上就可以完爆paiton/vLLM方案了，现在还是互有胜负。

MAC M5 Ultra 256g 现在也被优化的速度不错了。 有ai帮助都可以慢慢的优化到极致

[fcme]

@张光璞
是啊，这是趋势，AI利好小众硬件。
现在Mac能到啥速度了？求赐教

[张光璞]

@fcme 说:

@张光璞
是啊，这是趋势，AI利好小众硬件。
现在Mac能到啥速度了？求赐教

B站有个哥们跑Qwen flash 能到80T/s

https://www.bilibili.com/video/BV1ZjHi6XEc4/?spm_id_from=333.1387.homepage.video_card.click&vd_source=c7fdfb9d4943df340439e35e09bbaa4e

[fcme]

@张光璞
哦，那使用体验也相当不错了，只不过相比价格，性价比不高。如果看中体积的话，那就没办法了，只有迈克。
我的5070ti现在跑起来应该是在一千四五的pp速度，然后生成是在55~60的样子。

[terry]

装备秀需要你去装逼。

[张光璞]

@fcme 说:

@张光璞
哦，那使用体验也相当不错了，只不过相比价格，性价比不高。如果看中体积的话，那就没办法了，只有迈克。
我的5070ti现在跑起来应该是在一千四五的pp速度，然后生成是在55~60的样子。

MAC 的并发估计也好不到哪去，适合一个人慢慢干长活。

小团队还是多显卡，或DGX 集群