单流生成（thinking 关闭，400 tokens，取中位数）

并发扩展（每请求 200 tokens）

长上下文预填充（读 prompt 速度）

2K→2,178 · 8K→2,622 · 32K→2,507 tok/s（32K 首字 12.8s）

加载/上下文/多模态

• 权重加载 ~30s（15.86GiB）
• 256K 上下文 / KV 池 37.2 万 token
• 3 张图一次识别 1.12s（单 prompt 最多 32 图）

配置

Qwen3.8-27B W4A16 非对称AWQ · vLLM 0.32.0（HyperQwen）+ DFlash2(k=7) · 驱动 615.71.09

CMP 170HX · Qwen3.8-27B 单卡推理性能评测

HyperQwen（vLLM 0.32.0）+ DFlash2 投机解码 + 170HX 专用内核调优

• 1× CMP 170HX · 64GB
• W4A16 非对称 AWQ
• 256K 上下文
• DFlash2 k=7
• 多模态视觉

测试环境

单流生成速度（串行，thinking 关闭）

• 代码 code：238 tok/s
• 计数 counting：278 tok/s
• 散文 prose：102 tok/s

并发扩展（每请求 200 tokens）

• c1：272 tok/s
• c2 聚合：360 tok/s
• c4 聚合：563 tok/s
• c8 聚合：823 tok/s

长上下文预填充（读取/喂 prompt 速度）

多模态 · 视觉

同一次请求送入 3 张图片（红 / 绿 / 蓝），模型正确识别并作答；单次响应耗时 1.12 s。单 prompt 支持最多 32 张图片。

模型加载与上下文

为什么这么快

• DFlash2 投机解码：每步前瞻 7 个 draft token，高命中率，单流大幅提速。
• 170HX 专用内核调优：split-KV verify kernel 用 64-token KV tile（GA100 163KB 共享内存），长上下文 +17~25%。
• GA100 稳定修复：Marlin 重排 + 内存分配器调参，规避 Xid 31，长时间稳定。
• 256K 超长上下文：64GB 显存几乎全给 KV，单卡即可容纳 25 万+ token 的文档/代码库。