抡锤者

@Bunsei
我今天刚按你您之前那个帖子把radiance鼓捣成，速度快的简直太离谱了，跟strata完全不是一个量级，prefill都快到7000了，decode比strata也快翻倍了，而且之前strata用的iq3s, 现在这个是4bit权重。
您是怎么把prefill速度再提一截的？快分享一下经验，我要抄作业

感谢大佬推荐，和你配置差不多，也是双r9700，之前跑strata最高decode也就七八十，prefill两千五左右，用你推荐的radiance后，我天，有点不敢想象了，快到离谱，4bit的量化权重，prefill竟让能摸到7000,常规稳定在六千多，decode也是快的离谱，代码有时候能上到180，平均下来也有130，而且两并发能到两百多，四并发到三百多，这个速度体验真的不比在线api差了，而且质量我觉得这个4bit量化也挺好的。
感谢大佬挖到这么宝藏的项目！！！