抡锤者

本来想玩一下QEngine，看到不支持A卡，是N卡专属。性能上3090要比7900XTX好，A卡还有优化的空间

整个kv在nvfp4的方案里最多只有256k.在单并发长上下文和双并发短上下文中，选择了后者。 Prefill在高上下文时衰减比较严重，均衡选择了c=2, ctx=128k。 V100这两天开始涨价了。 纯文字llm，不做视频的，可以参考。

@Prio 说: 版主您好，我现在单卡3090用的syv-ai/HyperQwen 的官方方案，这个方案长上下文的情况下decode输出特别慢，只有9-12token/s，想问下有什么好优化方案 多长的上下文？HyperQwen的在我这160k上下文就20tps的decode了，可以想象再长点，速度慢到12tps也正常。 如果场景是长上下文，还是考虑ninfer吧，它更稳。160k上下文时 41.1tps decode。缺点是起手比HyperQwen慢一倍，prefill长上下文更慢。 我是用短上下文的，非cache对话，所以HyperQwen更适合我的场景。

@kos-or 不会，看这个帖子里的对比： https://lcz.me/topic/1659 decode 短上下文差不多，prefill慢很多，越长越慢。 halogen是闭源专门优化的模型，等他出针对27B模型的版本把，或许会好一点。不过稠密模型全参数活跃，感觉也不会好到哪里去。

@davidwei0826 好像又更新了， 我抛出了191 tok/s ， 看一下我的帖子： https://lcz.me/topic/1656/7