抡锤者

@Prio 謝謝

我之前也在ctx=long 還是 huge 糾結， 結果我是接Hermes驛神外掛Deepseek 做了比較， 結果發現 ctx=long 快不少。
我用的是thinking=low.

我好奇的是： 我之沒有用Dflash2的原因是因爲他對顯存的要求比較高， 我不認爲我塞得下。 我目前的gpu util 是0.94, 再往上拉就會爆(OOM).
請問， 你的併發是多少， 還是你沒開併發？ 您的KV 等 Quant用得是？

我會拿你的參數回去試試。

我的參數如下：
• CPU: 2× Intel Xeon E5-2620 v3 @ 2.40 GHz
• RAM: 96 GB DDR4-2133 ECC
• Inference GPU: RTX 3090 24 GB (single card, PCIe 3.0 ×16)

Serving stack (syv-qwen38, vLLM 0.29.0 / syv-ai image 1cf8665)
• Model: Qwen3.8-27B-W4A16-AutoRound (dbirks checkpoint)
• Quantization: W4A16 = int4 weights (Intel AutoRound) + FP16 activations
• Activation quant: INT8_ACT=int8, INT8_LAYERS=mlp
• Speculative decode: SPEC=mtp, DRAFT_TOKENS=3 (built-in MTP draft head)
• KV cache: FP16, KVARN_POOL_MEM_FRAC=0.15 (tail-pool budget for 4 request slots)
• Vision: VISION=1 + VISION_OFFLOAD=1 (vision tower on, offloaded to CPU)
• Context: CTX=long, MAX_LEN=164000
• Prefix cache: PREFIX_CACHE=1
• Scheduling: MAX_SEQS=5, GPU_UTIL=0.94, ASYNC_SCHED=1
• Tools: TOOLS=1, TOOL_PARSER=qwen3_coder

我把3090的功率限制在265瓦。 但這貌似不是問題。 大部份的時候3090功耗在170瓦上下徘迴...

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

@Botio-Kuo
我當初的設計是把Hermes agent 放在服務器上， 這樣， 可以讓它慢慢跑任務， 不被臺機/筆電隨時可能得關機所限制。 既然放在服務器上， 放在docker裏面是一個很自然的選擇。 這樣宿主機不會太亂， 延長他的壽命

各位大神您們好：

我自己有一臺洋垃圾直接當我的docker 服務器， 把智能家居的功能都攥在上面。整臺機器都是 Ubuntu Server. 服務器在一個衣櫃裏面， 平時我是ssh 連進去。

服務器上面RTX3090 是專門給 大模型用的 (另外加了一個小GPU用來處理其他事物，包括偶爾的顯示） 我是在 llama.cpp上面裝了一個越獄版的千問3.6/27B，flash attention, MTP, TurboQuant 全部上了， 沒有啥問題。 當然，我並不拘泥於當地的LLM， 我在Deepseek / OpenRouter 上也存了點錢， 看情況決定Hermes 後面接什麼大模型。
llama.cpp 是用docker 安裝的
Hermes Agent 也裝在 docker 裏面。 我裝 Hermes 的時候， Hermes 還沒有出 Desktop。

問一個非常傻的問題：Hermes 用 Docker 這種配置上， 如何像大家一樣用Hermes 去直接操作

• 服務器本身的 docker ?
• 如何叫Hermes操作我自己的桌面型電腦和LAN上面其他的服務器？

我的Hermes 平時用電報溝通，在過去曾經用TUI的網路界面來做一些操作。

因爲我看了一圈， 如果要用Hermes 來操作電腦， 貌似無法用docker來安裝， 是不？