测试环境：oMLX（Mac M2 Max）
oMLX 项目：LLM inference, optimized for your Mac
GitHub：https://github.com/jundot/omlx
Engine：Auto
Context：代码（Python）

一、Benchmark 模型：Qwen3.8-27B-4bit

1.1 Single Request Results

1.2 Continuous Batching

预处理 1024 / 生成 128

二、Benchmark 模型：Qwen3.8-27B-Uncensored-oQ4e-mtp

2.1 Single Request Results

2.2 Continuous Batching

预处理 1024 / 生成 128

三、数据深度分析

3.1 关键指标对比（oQ4e-mtp vs. 常规 4bit）

3.2 性能与技术细节拆解

为什么内存增加到了 22.34 - 23.70 GB？

• oQ4e 混合精度量化：它不是普通的均匀 4-bit 量化，而是通过 importance-matrix（重要性矩阵 calibration）对关键层/注意力层提高了精度（提升至 5-bit 或 fp16），因此实际权重体积接近 6-bit 量化。
• MTP（Multi-Token Prediction / 投机/多 Token 预测模块）：附加了 MTP 预测头，这需要额外的显存空间用于加载加速权重和维持额外的 KV Cache。

为什么单生成速度没有大幅提升？

• MTP 本质是通过 Speculative Decoding（投机采样） 以计算换速度。
• 但在 M2 Max（显存带宽约 300-400 GB/s） 这种带宽受限设备上，当权重增长到 22GB+ 时，内存带宽瓶颈冲淡了 MTP 带来的并行收益。
• 长上下文（pp4096）下生成速度降至 17.5 tok/s，也是因为更高的显存占用导致 Cache 访问开销变大。

为什么多并发（Continuous Batching）性能下降严重？

• 从 4x 批处理来看，常规 4bit 可以达到 62.8 tok/s，而本模型降到了 47.3 tok/s。
• 这是由于 MTP 模块和更高权重的模型在多 Request 并发时抢占显存带宽与 GPU 计算单元更剧烈，造成 Batching 的并行加速效率下降。

四、结论摘要