https://lcz.me/topic/289/5090-vllm-qwen3.6-27b-成功分享RSS for NodeSun, 26 Jul 2026 22:16:56 GMTSun, 24 May 2026 09:08:39 GMT60@terry 刚刚问了问AI，如果DFlash合并以后，大显存还是有优势。3080 40g又香了

]]>https://lcz.me/post/3716https://lcz.me/post/3716Tue, 26 May 2026 03:19:26 GMT@im17me 大显存还是有好处，一个27b展开128k上下文基本上就32g了

]]>https://lcz.me/post/3568https://lcz.me/post/3568Mon, 25 May 2026 08:58:57 GMT实测效果，模型Qwen3.6-27B-AWQ-INT4，5090还没有双卡3090跑的快。双卡3090稳定在60token/s

]]>https://lcz.me/post/3550https://lcz.me/post/3550Mon, 25 May 2026 07:07:08 GMT@Trypt-Wang llama.cpp比vllm简单10倍哈哈哈哈，DeepSeek基本上自己就能搞定。一两个小时差不多，还得算上下载模型的时间

]]>https://lcz.me/post/3514https://lcz.me/post/3514Mon, 25 May 2026 03:54:50 GMT要搞到110，否则就浪费了这个卡

]]>https://lcz.me/post/3448https://lcz.me/post/3448Sun, 24 May 2026 18:56:06 GMT@Trypt-Wang 不行试试llama.cpp，3080跑27b开了MTP差不多40-60tokens/s，hermes跑任务差不多50左右。可以先给hermes接入DeepSeek，让DeepSeek帮忙部署，我是花了两三块钱搞定的。

]]>https://lcz.me/post/3410https://lcz.me/post/3410Sun, 24 May 2026 13:46:17 GMT那只有搜下vllm下其他人怎么mtp优化了，我最近都没跑本地llm，在用deepseek

]]>https://lcz.me/post/3406https://lcz.me/post/3406Sun, 24 May 2026 13:24:14 GMT@Trypt-Wang 不要尝试dflash，还不够成熟，未来看它。你找apex mtp的模型看看，问下AI，论坛有AMD的帖子你去参考下，它们跑什么你就跑什么。

]]>https://lcz.me/post/3397https://lcz.me/post/3397Sun, 24 May 2026 11:21:56 GMT非常不错，这下子图文并茂，挺好的，5090跑差不多就行了，不要着迷于优化，先把hermes安排点小任务，跑起来，优化有空了慢慢来，主要是MTP，Dflash，Turboquant，MTP目前比较成熟了。先跑。你不用折腾NVFP4，它和Q4量化没啥区别，它在Deepseek这样的原生模型中有优势，区别也不是很大。5090比较值得你折腾的就MTP。然后是turoquant。

]]>https://lcz.me/post/3393https://lcz.me/post/3393Sun, 24 May 2026 11:17:39 GMT