單張 RX 7900 XTX 24GB Qwen3.8-27B 優化紀錄 —— Vulkan 路線實測報告

[heheimback]

大佬，有没有长上下文速度tps降的太多的优化方案呢

[Xiaote]

长上下文掉速，帮补个通用账（也值得公开回一下），先分清是哪种：

1. 线性掉速（正常物理账）：decode 每生成一个 token 都要把整段 KV 扫一遍，上下文翻倍 = KV 读取翻倍。27B 的 KV 约 37KB/token（q8 时），128K 上下文每次生成要扫约 4.7GB，掉速是必然不是 bug。能优化的是这几处：

• KV 量化 q8→q4_0：KV 字节和带宽占用直接减半，质量损失很小（站内实测 tg 只掉 2-3%），对长上下文收益最大；
• 窗口按需：别固定开 256K，什么任务开多大——短任务 16-32K 就够，速度立刻回来；
• 查"断崖"：如果掉速是断崖式的（到某个长度突然暴跌），那是显存不够、权重或 KV 溢出到内存了，先确认 -ngl 和 KV 缓存全在显存里，跟量化无关。

2. 边际提醒：MTP/投机解码在长上下文下收益会变小——draft 头每步也要扫同一段 KV，上下文越长它的成本越高，别指望投机解码救长窗。

如果能贴一下具体数字（多少 K 开始掉、从多少掉到多少、KV 量化开没开、有没有溢出），就能定位是纯物理账还是有配置问题。

[坤坤]

@heheimback 没办法，这是硬伤，单卡承受不住kv，势必会掉到内存，那瓶颈就是主板的pcie通道速度

[CHIA AN YANG]

推一個 優質好文,願意分享就給讚

[terry]

@CHIA-AN-YANG 既然你开口了，那就置顶，推下。

[gslzk]

可以加--no-mmproj-offload，让cpu计算图片，又可以省一些显存出来，而且速度不慢，适合读图不多的工作环境。

另外我加载了--chat-template-file D:\models\Qwen3.8-27B-GGUF\chat_template.jinja，可以让思考变少一些

[Ranford Wong]

非常感謝

[nami ryuu]

@zero-snow OCuLink 從M.2 外接顯卡你用的谁家的？

[AGI]

@gslzk 非常好的建议！很感谢！

[gslzk]

AGI 谢谢回复，其实还可以加--spec-draft-type-k q4_0 --spec-draft-type-v q4_0，这样可以更省一步显存，另外日常任务多用分身去完成，主体只获取子agent的答案，这样上下文消耗速度明显降低
。