6666666666
老
老鬼
@老鬼
-
Hermes Agent Windows 原生整合包 保姆级教程 (抡锤者专用) -
3080 20g 千问 3.6 27bq4 k m llama 跑Hermes配置 实在搞不定 折腾2天了 -
3080 20g 千问 3.6 27bq4 k m llama 跑Hermes配置 实在搞不定 折腾2天了 -
3080 20g 千问 3.6 27bq4 k m llama 跑Hermes配置 实在搞不定 折腾2天了@kop-wang ~/llama.cpp/build/bin/llama-server -m models/Qwen/MTP/Qwen3.6-27B-Q4_K_M.gguf \
--spec-type draft-mtp --spec-draft-n-max 3 \
--flash-attn --n-gpu-layers 99 on --threads 6 --parallel 1 \
-ctk q8_0 -ctv q4_0 --ctx-size 96000 \
-b 3072 -ub 1024 --no-warmup --no-mmap \
--host 0.0.0.0 --port 8080 \
--reasoning off --jinja --chat-template-file models/Qwen/chat_template.jinja
能启动 就是太慢了 9_10token得蹦 我想连接hermes
电脑配置是Cup 5950x 48内存 -
3080 20g 千问 3.6 27bq4 k m llama 跑Hermes配置 实在搞不定 折腾2天了
