硬件:RTX 4090 24GB,256GB DDR4-2400,洋垃圾E5V4+X99
模型:Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS
修改前(平均值):
预填充:5078.53
解码:124.986
修改后(平均值):
预填充:5316.73
解码:186.566
预填充提升:4.69%
解码提升:49.27%
预填充几乎没有变化,解码速度提升近50%,这有点惊人了。
硬件:RTX 4090 24GB,256GB DDR4-2400,洋垃圾E5V4+X99
模型:Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS
修改前(平均值):
预填充:5078.53
解码:124.986
修改后(平均值):
预填充:5316.73
解码:186.566
预填充提升:4.69%
解码提升:49.27%
预填充几乎没有变化,解码速度提升近50%,这有点惊人了。