<![CDATA[我尝试了mtp和tuboquant]]>感觉我linux服务器上的4090-24G显卡好像也没突破限制阿 ，我是llama.cpp架构，该45token/s还是一样，奶奶的，你测试怎么样老特？36-27B养马香是香就是推理有点慢

]]>https://lcz.me/topic/58/我尝试了mtp和tuboquantRSS for NodeWed, 20 May 2026 07:04:19 GMTFri, 08 May 2026 06:58:11 GMT60<![CDATA[Reply to 我尝试了mtp和tuboquant on Mon, 11 May 2026 19:39:43 GMT]]>闻闻 4090-24G 的味都是好的。前代神卡。够玩一段了。

]]>https://lcz.me/post/1086https://lcz.me/post/1086Mon, 11 May 2026 19:39:43 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Mon, 11 May 2026 17:41:44 GMT]]>@高乐天
感谢这位仁兄，我也一样是 ai max 395 目前用Ollama 跑 qwen3.6-27b 只有 12T/s
但是用了你介绍的方法，速度几乎翻倍了。以下贴上具体数据给大家参考一下。
再次感谢 @高乐天 ！

<当前运行环境 & 模型>

项目 详情
模型 qwen3.6-27b-mtp（Qwen 3.6 27B + MTP 推测解码）
运行硬件 Ryzen AI Max+ 395 + Radeon 8060S 集显
MTP draft 设定 3

<最新测速结果>

阶段 Token 数 耗时 速度
Prompt 处理 45 tokens 421ms ~107 token/s
Token 生成（MTP） 500 tokens 24.8s ~20.2 token/s
总计 545 tokens ~25.2s ~21.6 token/s

<MTP 推测解码效率>

指标 数值 说明
Draft tokens（草稿） 585 推测解码产生的草稿 token 总数
Accepted（接受） 304 通过验证直接跳过的 token
接受率 ~52% 约一半的草稿被直接接受，省掉了验证开销
预测加速比 500 / 304 ≈ 1.64x 相比无 MTP 的纯串行生成，理论加速约 1.6 倍
]]>https://lcz.me/post/1066https://lcz.me/post/1066Mon, 11 May 2026 17:41:44 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Sun, 10 May 2026 15:42:09 GMT]]>llama.cpp mtp 确实可以用， 我的 ai max 395 跑 qwen3.6-27b 24T/s

参考这个社区主题

https://www.reddit.com/r/LocalLLaMA/comments/1t5ageq/qwen3627b_with_mtp_grafted_on_unsloth_ud_xl_25x/

mtp 分支还没有合并到主分支，目前还存在的问题

  1. 只支持np = 1
  2. 暂不支持多模态

00af767d-8cbe-418a-a0a3-e15866ddabb1-image.jpeg

]]>https://lcz.me/post/821https://lcz.me/post/821Sun, 10 May 2026 15:42:09 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 22:21:05 GMT]]>@laihzang619 配置好了VLLM肯定是tokens最高的，比sg-lang还高，我完全没优化也比llama.cpp好一点点。

]]>https://lcz.me/post/576https://lcz.me/post/576Fri, 08 May 2026 22:21:05 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 15:32:13 GMT]]>我测试了vllm 3090 24G 开启MTP就爆显存了 没法用 llama有45t/s不错了 我的vllm只有34t/s

]]>https://lcz.me/post/560https://lcz.me/post/560Fri, 08 May 2026 15:32:13 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 14:02:00 GMT]]>@墙内人 好像vllm+mtp在24G显卡上上下文是很短的

]]>https://lcz.me/post/557https://lcz.me/post/557Fri, 08 May 2026 14:02:00 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 13:46:32 GMT]]>@墙内人 你的显卡是多少？

]]>https://lcz.me/post/554https://lcz.me/post/554Fri, 08 May 2026 13:46:32 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 11:25:21 GMT]]>vllm的mtp是肯定有用的，llama.cpp不知道。

]]>https://lcz.me/post/547https://lcz.me/post/547Fri, 08 May 2026 11:25:21 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 10:50:27 GMT]]>llama.cpp是不是要吃足他的上下文，是不是只要nvidia-smi只要没高于24就好了？AI配置这个上下文窗口一般都给的很保守

]]>https://lcz.me/post/546https://lcz.me/post/546Fri, 08 May 2026 10:50:27 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 10:47:52 GMT]]>@大魔头 感觉没啥卵用

]]>https://lcz.me/post/545https://lcz.me/post/545Fri, 08 May 2026 10:47:52 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 08:03:55 GMT]]>@bily-j vllm呢，试试看，我最近不会优化llm了，要做一下数字人频道。

]]>https://lcz.me/post/537https://lcz.me/post/537Fri, 08 May 2026 08:03:55 GMT<![CDATA[Reply to 我尝试了mtp和tuboquant on Fri, 08 May 2026 07:37:48 GMT]]>llama.cpp能跑mtp和tuboquant了？我去搜搜，我也想试试

]]>https://lcz.me/post/533https://lcz.me/post/533Fri, 08 May 2026 07:37:48 GMT