最近看到一个挺有意思的开源项目 HyperQwen，专门针对 Qwen3.8-27B + vLLM 做优化。作者在单张 RTX 3090 24GB 上，普通单流大约能做到 120+ tok/s，而在代码修改、长文档引用这类“输出大量复用上下文”的场景，最高跑到了 381 tok/s。
这里最值得关注的其实不是 381 这个数字，而是它的 Context Lookup Speculation。
传统 DFlash/MTP 是让草稿模型“猜”后面的 token；HyperQwen 发现代码、日志、配置文件、RAG 文档等场景中，大量答案其实已经存在于上下文，于是直接从 Context 中查找连续 token，一次提出最长十几个 token，再交给目标模型批量验证。命中高的时候，相当于从“逐字生成”变成了“找到原文 → 批量复制 → 验证”。
除此之外，它还做了 DFlash2 W4A16 量化、Embedding/LM Head INT8、前缀缓存和针对 Qwen3.8 的 Kernel 优化，在 24GB 显存上尽量挤出更多 KV Cache 空间。
我觉得这个项目对本地 Agent 特别有意思：代码修改、日志分析、JSON/YAML、工具调用和长文档问答，本来就是高 Context Reuse 场景。
下一步准备研究一下，能不能把其中的 Context Lookup + DFlash 思路移植到双 7900 XTX + SGLang 上。相比单纯继续卷 Kernel，这可能是一条更有意思的路。