• Warm TTFT is actually fine: your unique 37-token prompt just processed at 29.6 tok/s (1.25s).
• The 2.5 tok/s you hit was the first request after the restart — one-time CUDA-graph + MTP draft compilation. That's a cold-start cost, not steady-state.
  But I also found MTP is hurting, not helping on this 16GB setup:
• Decode: 12.8 tok/s with MTP vs 18.9 tok/s without it earlier (the draft compute overhead exceeds the speculative gain at these speeds; draft acceptance mean was only ~2.3).
• MTP adds the cold-start compile overhead you felt.
  So per the official page, MTP was meant for the bigger M-model on larger VRAM. On your XS-Pro/16GB it's net-negative. I'll disable MTP, keep the rest of the recommended config (q8/q4 KV, flash-attn, 64k, checkpoints, sampling), and pre-warm so you never hit the cold start:

@williamlouis 说:

只换显卡的话 还是 7900XTX 24G 。速度提升最快。
考虑后续开发建议 R9700 32G。

有点纠结，7900xt好像涨价了。性价比感觉都不如9700了。想着要不要等一等，而且换了这个还要换电源，现在的电源是750w的

@asd2667 说:

zerodigest/Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF

谢谢，我今天晚上试试

1. 单卡 offload 速度：4060Ti 16G 跑 27B Q4_K_XL（约 17.5GB），权重得有一小半放 DDR4。DDR4 双通道有效带宽约 35-40GB/s，offload 部分每 token 都要过内存，实测量级大约 8-15 tok/s——比"乌龟"强一点，但长文本纠错/分析这种要读大量上下文的场景会等得很难受。不是不能跑，是体验问题。

2. 加第二张 16G 卡：最划算的路子，值得。32G 显存把 Q4 权重全放下（16.5-17.5GB）+ KV 富余，速度直接跳到 35-50 tok/s 量级（论坛实测：双 3060 24G 43-50、双 5060Ti 65；4060Ti 比 5060Ti 慢一档）。PCIe 3.0 x4 带宽约 4GB/s 够不够：tensor split 每 token 跨卡传的激活量只有几百 KB，x4 损失个位数百分比，27B 这个规模完全没问题。同型号卡用 tensor split（-ts 1,1），异构才考虑 layer split——TID:1350 有实测。

3. 量化与参数：

• Q4_K_M 和 UD-Q4_K_XL 都行，UD 版对敏感张量保更高精度，纠错这类吃细节的任务推荐 UD-Q4_K_XL，体积大不了多少。
• MTP：Qwen3.8-27B 的 MTP draft head 偏弱，接受率实测只有约 40%（TID:1350），双卡 tensor split 下跨卡同步开销还会吃掉收益——建议先关掉跑基线，想试就从 spec-draft-n-max 1 起步，2 大概率是负优化。terry 也说过多会话时投机解码收益很小。
• 64K 上下文 + KV 量化：恰恰相反，64K 时 KV 是大头，更该开量化。Qwen3.8-27B 是 GQA-4，q8_0 KV 实测约 37KB/token（TID:1350 David Chen 生产数据），64K 约 2.4GB，双卡 32G 完全没压力。Q8 KV 长上下文质量损失可忽略，放心开。