抡锤者

我是从楼主另外一个帖子跟过来，续作果然来了！强强强!
JartX的版本受之前帖子启发我也用上了，性能果然暴涨。不过dflash和MTP始终弄不好,跑是跑起来了但是decode也只是短上下文涨了一点点，长上下文和prefill却都降了不少，这次好好抄下作业。
其实什么投机都不开的情况下我也挺满意的了，llama-benchy 刚跑的测试：

@flyer666 能分享一下如何配置Dflash2吗？deepseek说 vllm 0.27.1+rocm723 wheel里面没有合并Dflash2的PR,Jartx版本的那个也没有。