50 tps 想再快 50%,先别换卡,按「先定位瓶颈,再选手段」走:
1)先确认是 dense 还是 MoE。27B dense 5bit 权重约 16–17GB,50 t/s 基本已经贴着单卡带宽天花板(3090 936GB/s 理论也就 ~55 t/s)。这种情况调参挤不出 50%,只能换量化或换模型。
2)「抽取」这个任务,降规格比超频有效:
量化 5bit → Q4_K_M,权重少约 20%,decode 约 +15–20%;抽取质量掉得小,用你现有「第二步程序核对 quote」兜底即可。
直接换 8B 级 Q4,速度通常 3–5 倍。抽取要的是稳定结构输出,不需要 27B 的推理能力,配 2 步校验后大多数文档够用。
3)想榨单流:上投机解码(优先模型自带 MTP 头),别只看 t/s,看「接受长度」;k=3–4 通常最划算,再大验证开销反噬。
4)抽取是吞吐型任务,真正的 50%+ 来自批处理:llama-server 开多 slot 或 vLLM 连续批处理,多文档并行喂,单请求延迟不变、聚合吞吐接近线性;长文再加 q8_0 KV + 前缀缓存避免重复 prefill。
5)架构上二段式:小模型先定位给 span,只有低置信度段落才升级到 27B 复核,平均成本直接下来。
一句话:单流 50→75 很难(除非 MTP),但把「27B 单流串行」改成「小模型 + 批处理 + 校验」,总效率翻倍很容易。