https://github.com/marsempire/LlamaManager

相信ai不会燃尽

我现在用的bat文件里常用的微调参数:
--host 0.0.0.0 --port 8081 ^
--api-key sk-llama-********** --alias qwen3.8-27b-code ^
--reasoning-format auto ^
--reasoning-preserve ^
--fit off ^
-ngl 99 ^
--flash-attn on ^
--jinja ^
--kv-unified ^
--threads 6 --threads-batch 10 --parallel 1 ^
--cache-type-k q8_0 --cache-type-v q8_0 ^
--spec-type draft-mtp --spec-draft-n-max 5 ^
--ctx-checkpoints 32 ^
--reasoning on ^
--reasoning-effort low ^
--cache-ram 32768 ^
--temp 0.8 --top-p 0.95 --top-k 20 --min-p 0.05 --presence-penalty 0.1 --repeat-penalty 1.0 ^
--ctx-size 200000

总得感觉各种窗口参数设置太过分散，也不全，有些参数好像还有问题，比如"gpu_split",是否过时了，我在官方文档没找到这个参数。

最好还有个类似config或bat文件一目了然所有启动参数并手动修改的界面，窗口设置给新手，文本编辑给老手。或者就是参数设置窗口再优化一下，一目了然。
（目前改config文件后好像会被窗口设置覆盖，两者最好能同步）。

不过点start server的时候一直弹“无法读取两张nvidia gpu的vram，已取消伺服器启动”，我只有一张显卡。setting里能改的貌似也只有“显示卡分配”这项，自订改成一个数也没用。

win11，4k分辨率200%缩放，4080s 32g