谢谢,现在我宿主机是ubuntu24.04,虚拟机也是,估计还是有损耗,显卡直通虚拟机。
Capri Swicord
@Capri Swicord
谢谢,现在我宿主机是ubuntu24.04,虚拟机也是,估计还是有损耗,显卡直通虚拟机。
4080s 32g,ubuntu虚拟机 40g内存跑qwen3.6 27b int4
vllm,单发27token左右,上下文48k,是不是弱了点。各位大佬,才开始用得。
请教下NVFP4是不是用不了,看了只有50显卡可以
如何优化,有大佬展示一下嘛