抡锤者

@terry 刚知道vllm还可以开mtp，我再多试试。回头再来反馈

@whjwyc 我去！好消息，回头我也得试试。

@terry 测试完了。vllm不行，18tokens/s左右，应该还是我的主板不行。ollama稳定29tokens/s

@terry 锤子哥！吼吼，之前vllm没搞定，我得再去折腾一波

2月份搞的这两个卡，目前能跑hermes+qwen3.6 27b，有没有志同道合的兄弟一起研究这卡怎么玩

@woho96 跑视频模型，单卡至少24g了

我是两张3080 20，一共40g，反正hermes已经在帮我测试很多东西了

q4我开reasoning high完全够啊，几乎不会出错。我用下来是觉得比DeepSeek v4 flash和pro都夯

@fanwen1974 是的，我测试过好几次了。hermes更新13.0以后我也不死心，就是想用35b，但是他就是moe，moe就是不行，跟27b稠密型根本比不了。其实DeepSeek v4 flash或者pro都不如27b，因为他俩也是moe