双 3090 NVLink + vLLM 半年实测：Qwen3.6-27B 解码 128 tok/s，并发 4 用户 258 tok/s

[starryskyknight]

@Don-zhu 我没放机壳内 我用延长线拉伸出来 另外用了架子撑着

[starryskyknight]

@terry 看了您的建议 我一直想用SG-Lang试试看 但跑起来都没有 VLLM好 不知道是不是老卡的关系 今天会发一篇千问3.8的版本 希望相同设备的伙伴能一起讨论 找到最佳化方案

[starryskyknight]

@Che 大佬不敢当 我也是自己乱摸 乱尝试 我今天会发一篇千问3.8的版本 欢迎一起研究讨论

[stxpnet]

sglang感觉就是长时间占 着CPU和显卡。发热太大了，不知道是不是我没配置好。

[terry]

@stxpnet 它就是运算的时候占着，你是不是启动的时候它响很久？那在配置cuda graph，搞完了就不占据了。

[terry]

@starryskyknight
1，不要用敬语。
2，大概率就是老卡的问题。

[Che]

@stxpnet 挺奇怪，只占显存不推理应该是没功耗的

[stxpnet]

@terry
不知道，用了两天，显卡60度和CPU 睿频4.4GHZ，70多度 就跟火炉一样烧了两天，目前体感没有这个好，干脆弃用了。
再有更好了就要删除它了。 现在就等 noonghunna和Sandermage/sndr 那两个仓库出更好的方案了。 Sandermage那个是真的看好，启动后100多个专属的补丁在vllm里面打好。但是3.8一出来，一点都不香了。作者估计 都换设备了，还没更新。 再过10天不更新的话，我想自己让GLM5.3把他的仓库克隆过来改造那些vllm补丁给3.8用。

[Don zhu]

@starryskyknight 感谢回复，我也是买了线放到外边，根本没法装一起。放外边反而散热好很多

[starryskyknight]

@Don-zhu 灰尘比较需要注意 其他都还好