Openclaw與Hermes的一個小比較

[Henry Chiu]

@王一民 謝謝, 我已裝wsl2+hermes了, 但有個小白問題, 我的是4090d 24GB, 用ollama本地部署, 爬文後理解應該是用Qwen3.6-27B最好, 我現在是跑qwen3.6:27b-q4_K_M, 但我用ollama ps檢查發現這模型是44gb, 有一半跑到CPU上, 不是就17GB可以fully offload到GPU嗎?還是我選錯模型/設定?

[[[global:former-user]]]

@Henry-Chiu 主要关注下上下文窗口和kv量化的配置。

ollama这个工具我很长时间不用了，目前主要以llama.cpp为主。
个人实测，在llama.cpp下，开满了256K的话，Q4_K_M，VRAM占用应该是28GB左右。

使用参数如下：
--ctx-size 262144
--flash-attn on
--cache-type-k q8_0
--cache-type-v q8_0
--temp 0.6
--top-p 0.95
--top-k 20 \

[Henry Chiu]

@王一民 謝謝. 我會再研究下, 這是Hermes自已調整的, 應該還好吧?還是有很大提升空間?
很棒的改进！让我总结一下当前的性能分析结果：

🚀 Ollama 性能分析 & 优化报告

📊 性能对比 (27B 参数量，RTX 4090 D, WSL2)

| 指标        | 优化前     | 优化后    | 提升  |
|-------------|------------|-----------|-------|
| 生成速度    | 20.2 tok/s | 42 tok/s  | +108% |
| Prompt 解析 | 120 tok/s  | 289 tok/s | +141% |

[[[global:former-user]]]

这个输入（prefill）速度还是不对，290t/s太慢了，参考https://api-inference.huggingface.co/Qwen/Qwen3.6-27B-FP8/discussions/11

这个帖子，他的prefill速度能到4000，虽然他是48GB的魔改版，但是也不会有这么大的差异。

[Henry Chiu]

@王一民 謝謝, 真的差太遠 如何調整對我來說真是有點不知從何入手.....

[[[global:former-user]]]

@Henry-Chiu 我个人的经验是，如果不知道该从何入手，最好的方式就是抄作业，先用一个大神的环境先跑起来，然后使用的过程中再根据自己的实际情况再逐步微调。这样相对而言成功率高一些，仅供参考。

具体可以直接让chatGPT推荐一下操作步骤，或者在本论坛，reddit的localLLM找下看看。

[[[global:former-user]]]

另外，部署localLLM尽量不要用Agent工具一口气自动部署，这个东西有很多参数，会共同影响结果，最好是遵循AI、大神分享的建议，然后自己手动操作。这样最起码能知道变量有哪些。

让AI自动化操作之后，出问题，或者模型的表现不理想，其实想调整时很难的，因为你没有概念，很难表述清楚你到底要什么。

[Vittoria Veloso]

@terry 确实，比小龙虾强，但问题是太好使了，白嫖的积分快用光了。

[Vittoria Veloso]

@Henry-Chiu 我对ollama有意见，我记得我之前玩龙虾的时候用的ollama第一个很简单的问题用了5分钟以上才回答

[terry]

@Vittoria-Veloso ollama在龙虾刚出来的时候，prefill性能和智障一样，它长期都是给小白做的，很多优化是负优化，现在应该不错了。

[Henry Chiu 0]

我已經轉用ubuntu desktop, 確實感覺比較絲滑, Hermes agent表現確實比openclaw好, 暫時沒有各種惱人的報錯, 也沒有想要用回openclaw, 但我也只是日常用途, 沒有大佬們複雜, 唯獨配置llama.cpp現階段對我來說有點太複雜, 沒法往極致效能走, 我是在用Lemonade server, 較易入手, 速度上也夠用.