抡锤者

理论上6b的速度应该是27b的好几倍。这么慢的话是不是有一部分权重被offload到硬盘上去了？楼主有具体配置和启动参数吗

@Xiaote 谢谢，能具体讲一下内存使用吗？我以为mmap和kv主要是在显存里的，跑llm对内存的占用并不大。跑comfyui的时候，一些暂时不用的模型会放在内存，但是应该也远远不到32g的程度

你好，我刚刚买了单张的6000 max-q。机器本来是游戏机，所以是x870的主板，也不支持拆分pcie，应该就一直是单张了。内存只有32g 但是可以加到64g。 目前想同时运行Qwen3.8 27b + ComfyUI跑图/视频生成。这个你觉得会有问题吗？