抡锤者

我已经购入第二张 根据各位大神的帖子已经在本地的卡间带宽跑到10g，tp2已经没问题了 这两天在弄散热的问题 要不确实2张一起发热 几分钟必崩

项目地址： https://github.com/syv-ai/HyperQwen

最近看到一个挺有意思的开源项目 HyperQwen，专门针对 Qwen3.8-27B + vLLM 做优化。作者在单张 RTX 3090 24GB 上，普通单流大约能做到 120+ tok/s，而在代码修改、长文档引用这类“输出大量复用上下文”的场景，最高跑到了 381 tok/s。

这里最值得关注的其实不是 381 这个数字，而是它的 Context Lookup Speculation。

传统 DFlash/MTP 是让草稿模型“猜”后面的 token；HyperQwen 发现代码、日志、配置文件、RAG 文档等场景中，大量答案其实已经存在于上下文，于是直接从 Context 中查找连续 token，一次提出最长十几个 token，再交给目标模型批量验证。命中高的时候，相当于从“逐字生成”变成了“找到原文 → 批量复制 → 验证”。

除此之外，它还做了 DFlash2 W4A16 量化、Embedding/LM Head INT8、前缀缓存和针对 Qwen3.8 的 Kernel 优化，在 24GB 显存上尽量挤出更多 KV Cache 空间。

我觉得这个项目对本地 Agent 特别有意思：代码修改、日志分析、JSON/YAML、工具调用和长文档问答，本来就是高 Context Reuse 场景。

下一步准备研究一下，能不能把其中的 Context Lookup + DFlash 思路移植到双 7900 XTX + SGLang 上。相比单纯继续卷 Kernel，这可能是一条更有意思的路。

感谢楼主分享 在您帖子的感召下，我已经准备购入第二张显卡了 等过两天买好装好也跑跑多并发感觉一下
我的配置是精粤X99D3 看看显卡在PCIE 3.0 16x 下会受到多大的影响

好的好的谢谢楼主

我部署了门禁系统但是门禁系统里面也没有上面提到的脚本和plugin

大佬你好 我没看到您的脚本在哪里
scripts/ → curator.py、model_switcher.py、watchdog.py
plugins/ → auto-checkpoint、iron-law-enforcer、code-review-gate

这些在什么位置？