5090 + vLLM + Qwen3.6-27B 成功分享

[[[global:former-user]]]

此主題已被删除！

[terry]

非常不错，这下子图文并茂，挺好的，5090跑差不多就行了，不要着迷于优化，先把hermes安排点小任务，跑起来，优化有空了慢慢来，主要是MTP，Dflash，Turboquant，MTP目前比较成熟了。先跑。你不用折腾NVFP4，它和Q4量化没啥区别，它在Deepseek这样的原生模型中有优势，区别也不是很大。5090比较值得你折腾的就MTP。然后是turoquant。

[[[global:former-user]]]

此主題已被删除！

[terry]

@Trypt-Wang 不要尝试dflash，还不够成熟，未来看它。你找apex mtp的模型看看，问下AI，论坛有AMD的帖子你去参考下，它们跑什么你就跑什么。

[[[global:former-user]]]

此主題已被删除！

[terry]

那只有搜下vllm下其他人怎么mtp优化了，我最近都没跑本地llm，在用deepseek

[rock shi]

@Trypt-Wang 不行试试llama.cpp，3080跑27b开了MTP差不多40-60tokens/s，hermes跑任务差不多50左右。可以先给hermes接入DeepSeek，让DeepSeek帮忙部署，我是花了两三块钱搞定的。

[[[global:former-user]]]

此主題已被删除！

[Hank Wang]

要搞到110，否则就浪费了这个卡

[rock shi]

@Trypt-Wang llama.cpp比vllm简单10倍哈哈哈哈，DeepSeek基本上自己就能搞定。一两个小时差不多，还得算上下载模型的时间

[im17me]

实测效果，模型Qwen3.6-27B-AWQ-INT4，5090还没有双卡3090跑的快。双卡3090稳定在60token/s

[rock shi]

@im17me 大显存还是有好处，一个27b展开128k上下文基本上就32g了

[rock shi]

@terry 刚刚问了问AI，如果DFlash合并以后，大显存还是有优势。3080 40g又香了