可以的，没有差距效果很棒
明
明风影视mfys
@明风影视mfys
-
i9-13900K + 128G + RTX5090 + Strata + MTP 部署 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF -
请教：8卡5090和4090（48g）选择？ -
5090 96G魔改卡靠谱吗？平替RTX Pro 6000还是骗局？为什么4090 48G好改，5090魔改难产？如何买到合适的显卡？ -
雙 2080 Ti 22G 魔改卡跑 Qwen3.8-27B：由 1 並發改 8 並發實測 — 總吞吐 +112%，單線只跌 3%为什么你的单线程mtp3 decode这么慢 不应该啊，没装nvlink吗？ 实际decode应该有100tks
测试结果 (OpenAI兼容接口 - Qwen3.8-27B-W4A16)
备注：2080tix2_Qwen3.8-27B-W4A16 | 并发数: 1
提示词长度 (tokens) TTFT (ms) ITL平均 (ms) 预填充速度 (tokens/s) 输出速度 (tokens/s) 状态 2048 1822.42 35.49 1125.67 111.18 1/1 并发成功 4096 2253.48 36.06 1820.28 110.25 1/1 并发成功 6144 3496.46 36.18 1759.57 108.65 1/1 并发成功 测试结果 (OpenAI兼容接口 - Qwen3.8-27B-W4A16)
备注：2080tix2_Qwen3.8-27B-W4A16 | 并发数: 4
提示词长度 (tokens) TTFT (ms) ITL平均 (ms) 预填充速度 (tokens/s) 输出速度 (tokens/s) 状态 512 2420.56 42.30 363.41 189.68 4/4 并发成功 1024 2189.48 43.36 1509.46 267.87 4/4 并发成功 2048 3585.16 44.90 1710.21 300.96 4/4 并发成功 4096 6680.39 48.72 1735.14 241.81 4/4 并发成功