抡锤者

@terry 是呀。在想着弄3090 24G来跑Qwen3.6 27B呢。希望论坛中多一些讨论，回头让我的AI来学习。

@Tide 上下文64K有点不够，128K就很棒。不过估计再几个月，用V4架构的新的小模型出来，上下文就足够大了。

@terry 编译了支持mtp的llama.cpp分支，跑起了mtp，可以加载3层，现在能做到生成30，但pp速度降到250左右了。先这样跑着吧。

Hermes要求很低，随便搞个小机器都可以跑，只要小机器可以7*24小时开机就没问题。搞个云主机也是可以的。云主机还可以快照备份，也是不错的选择。不然弄个软路由的机器，甚至raspberry pi这样的小机器也一样跑。我就用的是一台minisforum的小主机。