<![CDATA[【分享】Underdog-Saluki-27B-1.0-MTP-GGUF 12G显存也能超过60+ tok/s]]>最近Strata比较火，但是对内存需求比较高，对于没有64G内存的小伙伴可以玩玩这个大模型。

模型介绍

这是一个Qwen3.8-27B微调版本，权重只有8 GB，调校以保持工具调用的完整。添加了 Qwen3.8-27B 官方 MTP Head（15 个张量）的文件。模型主体的权重数据与原文件在字节层面完全一致，可在标准的 llama.cpp 上运行。在 RTX 3080 12GB 显卡上，生成速度从 41 tok/s 提升到了 66 tok/s（平均值）（来源官方测试数据）。使用 12GB 显存的显卡时，请将上下文长度限制在 32K 以内（若设为 64K q8_0，显存会溢出导致速度变慢，最多64K q4_0）。

模型测试

下面是自己实测生成一个黑客帝国风格的网页。5070 12G生成速度67.54tok/s

image.jpeg
image.jpeg

下载地址

https://huggingface.co/Kujira/Underdog-Saluki-27B-1.0-MTP-GGUF/tree/main

]]>https://lcz.me/topic/2250RSS for NodeMon, 12 Oct 2026 12:24:30 GMTSat, 10 Oct 2026 10:12:27 GMT60<![CDATA[Reply to 【分享】Underdog-Saluki-27B-1.0-MTP-GGUF 12G显存也能超过60+ tok/s on Mon, 12 Oct 2026 12:16:47 GMT]]>@terry
和官方一样标准的 llama.cpp

]]>https://lcz.me/post/24270https://lcz.me/post/24270Mon, 12 Oct 2026 12:16:47 GMT<![CDATA[Reply to 【分享】Underdog-Saluki-27B-1.0-MTP-GGUF 12G显存也能超过60+ tok/s on Mon, 12 Oct 2026 11:50:14 GMT]]>@johnnybegood 俺就基本用本地3.8 Flash了，据说差不多等于DeepSeek 4.0时代，感觉也很够用了啊

]]>https://lcz.me/post/24266https://lcz.me/post/24266Mon, 12 Oct 2026 11:50:14 GMT<![CDATA[Reply to 【分享】Underdog-Saluki-27B-1.0-MTP-GGUF 12G显存也能超过60+ tok/s on Mon, 12 Oct 2026 10:42:51 GMT]]>本地模型真的要爆发了， 不过， 这会倒逼在线模型做的更好。 到时候本地还是不如在线

]]>https://lcz.me/post/24253https://lcz.me/post/24253Mon, 12 Oct 2026 10:42:51 GMT<![CDATA[Reply to 【分享】Underdog-Saluki-27B-1.0-MTP-GGUF 12G显存也能超过60+ tok/s on Mon, 12 Oct 2026 10:01:42 GMT]]>效果不错，你要说是什么框架测出来的这个速度？

]]>https://lcz.me/post/24244https://lcz.me/post/24244Mon, 12 Oct 2026 10:01:42 GMT