5090 + vLLM + Qwen3.6-27B 成功分享

[[[global:former-user]]]

此主題已被删除！

[terry]

@Trypt-Wang 不要尝试dflash，还不够成熟，未来看它。你找apex mtp的模型看看，问下AI，论坛有AMD的帖子你去参考下，它们跑什么你就跑什么。

[[[global:former-user]]]

此主題已被删除！

[terry]

那只有搜下vllm下其他人怎么mtp优化了，我最近都没跑本地llm，在用deepseek

[rock shi]

@Trypt-Wang 不行试试llama.cpp，3080跑27b开了MTP差不多40-60tokens/s，hermes跑任务差不多50左右。可以先给hermes接入DeepSeek，让DeepSeek帮忙部署，我是花了两三块钱搞定的。

[[[global:former-user]]]

此主題已被删除！

[Hank Wang]

要搞到110，否则就浪费了这个卡

[rock shi]

@Trypt-Wang llama.cpp比vllm简单10倍哈哈哈哈，DeepSeek基本上自己就能搞定。一两个小时差不多，还得算上下载模型的时间

[im17me]

实测效果，模型Qwen3.6-27B-AWQ-INT4，5090还没有双卡3090跑的快。双卡3090稳定在60token/s

[rock shi]

@im17me 大显存还是有好处，一个27b展开128k上下文基本上就32g了

[rock shi]

@terry 刚刚问了问AI，如果DFlash合并以后，大显存还是有优势。3080 40g又香了