【分享】Underdog-Saluki-27B-1.0-MTP-GGUF 12G显存也能超过60+ tok/s

[perter]

最近Strata比较火，但是对内存需求比较高，对于没有64G内存的小伙伴可以玩玩这个大模型。

模型介绍

这是一个Qwen3.8-27B微调版本，权重只有8 GB，调校以保持工具调用的完整。添加了 Qwen3.8-27B 官方 MTP Head（15 个张量）的文件。模型主体的权重数据与原文件在字节层面完全一致，可在标准的 llama.cpp 上运行。在 RTX 3080 12GB 显卡上，生成速度从 41 tok/s 提升到了 66 tok/s（平均值）（来源官方测试数据）。使用 12GB 显存的显卡时，请将上下文长度限制在 32K 以内（若设为 64K q8_0，显存会溢出导致速度变慢，最多64K q4_0）。

模型测试

下面是自己实测生成一个黑客帝国风格的网页。5070 12G生成速度67.54tok/s

下载地址

https://huggingface.co/Kujira/Underdog-Saluki-27B-1.0-MTP-GGUF/tree/main

[terry]

效果不错，你要说是什么框架测出来的这个速度？

[johnnybegood]

本地模型真的要爆发了， 不过， 这会倒逼在线模型做的更好。 到时候本地还是不如在线