抡锤者

@fcme 说:

@Grant-Huang 说:

是

网页聊天的输入token特别短长点的基本上也就两三k，Hermes调用的话，默认提示词就20k以上，就300多的pp速度，你算一下需要处理多久吧。8g的卡只能是跑起来而已，用来驱动agent几乎不可用的。

明白，就是对话开头prefill的上下文太大了，所以时间肯定长..

我的3070 8G显存也可以llama.cpp, 但是用Hermes调用就非常慢. 是什么原因呢?
https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive