抡锤者

速度、质量都可观

@6cccccc 感觉MOE模型，速度不到100t/s以上，体验很不好，貌似有特殊的思考链设计

速度60-80t/s，prefill速度也不错，但是一个任务要干1个多小时，时间太长了，你们有感觉吗

这个模型显示60-80t/s，prefill速度也不错，但是一个任务要干一个多小时，是啥情况

@suboyang FXMP4，https://lcz.me/topic/1722

@suboyang vllm，sglang确定我这台x99 TP启动效果极差，上下文10k就跑不动了，PP启动还可以稳定到15-20左右，PP用不了MTP

@suboyang 双卡我试了，真可以120，我现在用FP8了，也能45-60之间

以上问了两轮，速度比较稳定。思考比较长，聪明的代价

测试速度感觉有问题，自己使用单会话60t/s，3个会话基本上也没降多少。单任务再DSH中长上下文，保持50t/s，目前是双卡FP8，使用Dflash，应该是最佳

@Geekyang 应该用的还是radiance，MTP速度慢，用的Dflash快一些

用了FP8，确实质量好一些

@张光璞 速度快感觉有点粗糙，也不知道是不是心理作用，NVFP4据说跟原版差别不太大，比MXFP4好一些，但是也感觉不出来

@Geekyang 是相比Qwen3.8 27b FP8模型，之前TP2速度极慢，现在感觉vllm行了，FP8也有54t/s了（DSH中显示）

测试了不MXFP4，速度120t/s。
FP8原生还在尝试
NVFP4，速度150t/s。

@tmp-tmp 我试了，一点问题都没有

@tmp-tmp hermes有记忆，目前还是主力

@tmp-tmp 我试了单卡vllm，另一张卡comfyui没问题啊

@williamlouis R9700单卡vLLM部署，DSH中显示50-60t/s，目前是最佳了，应该没有比这个更快了吧