请教关于r9700单卡跑SGLANG

[Brian]

放弃sglang，使用vllm，Dflash，速度起飞

[williamlouis]

单卡只是能跑。速度一般。

[tmp tmp]

@Brian vllm有一个不如意，两张卡的情况下，它不能和comfyui(minimaxh3)共存。

[张光璞]

@tmp-tmp 说:

r9700单卡跑SGLANG（qwen3.8-27b-aqw)，tg速度约25。在上下文超过184K时，会进行压缩，这个时候要等好久的时间，可能有20分钟以上，这时的pp速度是850。这种现象正常吗？会不会是我的配置哪里没弄好？

刚有个新的推理框架，我已经切换过来了。prefill 和 decode 都飞快

[Brian]

@张光璞 说:

@tmp-tmp 说:

r9700单卡跑SGLANG（qwen3.8-27b-aqw)，tg速度约25。在上下文超过184K时，会进行压缩，这个时候要等好久的时间，可能有20分钟以上，这时的pp速度是850。这种现象正常吗？会不会是我的配置哪里没弄好？

刚有个新的推理框架，我已经切换过来了。prefill 和 decode 都飞快

哪个框架

[Brian]

@williamlouis R9700单卡vLLM部署，DSH中显示50-60t/s，目前是最佳了，应该没有比这个更快了吧

[tmp tmp]

@张光璞 关键内容请回答一下。哈哈

[williamlouis]

@Brian 不一定。技术这玩意不会原地踏步。
我的是52-38t/s 。任务越长会越慢。
而且太复杂还得在线API
本地算力可以做些单项不复杂的工作。不要指望本地算力干太长或逻辑性复杂，就是什么事你想好再发布。

[张光璞]

@Brian 说:

@张光璞 说:

@tmp-tmp 说:

r9700单卡跑SGLANG（qwen3.8-27b-aqw)，tg速度约25。在上下文超过184K时，会进行压缩，这个时候要等好久的时间，可能有20分钟以上，这时的pp速度是850。这种现象正常吗？会不会是我的配置哪里没弄好？

刚有个新的推理框架，我已经切换过来了。prefill 和 decode 都飞快

哪个框架

https://lcz.me/topic/1722?_=1789482558707

[张光璞]

@Brian 说:

@williamlouis R9700单卡vLLM部署，DSH中显示50-60t/s，目前是最佳了，应该没有比这个更快了吧

我的50，小问题都是秒回，太爽了

[tmp tmp]

@Brian 我用的是mxfp4那个，pp有2000左右吧，tg有40左右。我在用这个，如果折腾comfyui就切到Sglang,sglang的pp和tg都慢，但是，他可以和comfyui共存。

[tmp tmp]

@张光璞 你们都是DSH吗？hermes你们不用吗？

[张光璞]

@tmp-tmp 说:

@张光璞 你们都是DSH吗？hermes你们不用吗？

我以前的主力是hermes,现在在逐步迁移到DSH上来

[Brian]

@tmp-tmp 我试了单卡vllm，另一张卡comfyui没问题啊

[Brian]

@tmp-tmp hermes有记忆，目前还是主力

[tmp tmp]

@Brian 一张r9700跑vllm,另一个r9700跑comfyui+minimaxh3生成视频，这个搭配你试过吗？

[Brian]

@tmp-tmp 我试了，一点问题都没有

[xiaopbro]

可能设置有问题，我是x99洋垃圾ad4 + E5-2686v4 + 128G 2133内存 +R9700，