給新手小白的LLama.ccp快速啟動器
-
model文件夹下面还有子文件夹的好像没法显示。点+ADD model，这个出来的窗口不能拉大，没法确认。
-
，系统 取消固定了此主题
-
大部分窗口每次打开后都需要再拉大才能看到全部内容。win11。
主界面修改参数不能保存 -
大部分窗口每次打开后都需要再拉大才能看到全部内容。win11。
主界面修改参数不能保存 -
@marsempire Github已更新，再麻煩重新下載安裝看看是不是還有切視窗的問題喔
@MK-CHAO 新版打开窗口都能看到全部内容了，子文件夹模型也能看到了。赞一个。
不过点start server的时候一直弹“无法读取两张nvidia gpu的vram，已取消伺服器启动”，我只有一张显卡。setting里能改的貌似也只有“显示卡分配”这项，自订改成一个数也没用。
win11，4k分辨率200%缩放，4080s 32g
-
打开mtp最好还能设置 --spec-draft-n-max 数值；
地址，端口号，别名，api key都还不能改
同一个模型最好也能设置不同的参数启动方案，对应不同用途；我现在用的bat文件里常用的微调参数:
--host 0.0.0.0 --port 8081 ^
--api-key sk-llama-********** --alias qwen3.8-27b-code ^
--reasoning-format auto ^
--reasoning-preserve ^
--fit off ^
-ngl 99 ^
--flash-attn on ^
--jinja ^
--kv-unified ^
--threads 6 --threads-batch 10 --parallel 1 ^
--cache-type-k q8_0 --cache-type-v q8_0 ^
--spec-type draft-mtp --spec-draft-n-max 5 ^
--ctx-checkpoints 32 ^
--reasoning on ^
--reasoning-effort low ^
--cache-ram 32768 ^
--temp 0.8 --top-p 0.95 --top-k 20 --min-p 0.05 --presence-penalty 0.1 --repeat-penalty 1.0 ^
--ctx-size 200000总得感觉各种窗口参数设置太过分散，也不全，有些参数好像还有问题，比如"gpu_split",是否过时了，我在官方文档没找到这个参数。
最好还有个类似config或bat文件一目了然所有启动参数并手动修改的界面，窗口设置给新手，文本编辑给老手。或者就是参数设置窗口再优化一下，一目了然。
（目前改config文件后好像会被窗口设置覆盖，两者最好能同步）。 -
打开mtp最好还能设置 --spec-draft-n-max 数值；
地址，端口号，别名，api key都还不能改
同一个模型最好也能设置不同的参数启动方案，对应不同用途；我现在用的bat文件里常用的微调参数:
--host 0.0.0.0 --port 8081 ^
--api-key sk-llama-********** --alias qwen3.8-27b-code ^
--reasoning-format auto ^
--reasoning-preserve ^
--fit off ^
-ngl 99 ^
--flash-attn on ^
--jinja ^
--kv-unified ^
--threads 6 --threads-batch 10 --parallel 1 ^
--cache-type-k q8_0 --cache-type-v q8_0 ^
--spec-type draft-mtp --spec-draft-n-max 5 ^
--ctx-checkpoints 32 ^
--reasoning on ^
--reasoning-effort low ^
--cache-ram 32768 ^
--temp 0.8 --top-p 0.95 --top-k 20 --min-p 0.05 --presence-penalty 0.1 --repeat-penalty 1.0 ^
--ctx-size 200000总得感觉各种窗口参数设置太过分散，也不全，有些参数好像还有问题，比如"gpu_split",是否过时了，我在官方文档没找到这个参数。
最好还有个类似config或bat文件一目了然所有启动参数并手动修改的界面，窗口设置给新手，文本编辑给老手。或者就是参数设置窗口再优化一下，一目了然。
（目前改config文件后好像会被窗口设置覆盖，两者最好能同步）。 -
打开mtp最好还能设置 --spec-draft-n-max 数值；
地址，端口号，别名，api key都还不能改
同一个模型最好也能设置不同的参数启动方案，对应不同用途；我现在用的bat文件里常用的微调参数:
--host 0.0.0.0 --port 8081 ^
--api-key sk-llama-********** --alias qwen3.8-27b-code ^
--reasoning-format auto ^
--reasoning-preserve ^
--fit off ^
-ngl 99 ^
--flash-attn on ^
--jinja ^
--kv-unified ^
--threads 6 --threads-batch 10 --parallel 1 ^
--cache-type-k q8_0 --cache-type-v q8_0 ^
--spec-type draft-mtp --spec-draft-n-max 5 ^
--ctx-checkpoints 32 ^
--reasoning on ^
--reasoning-effort low ^
--cache-ram 32768 ^
--temp 0.8 --top-p 0.95 --top-k 20 --min-p 0.05 --presence-penalty 0.1 --repeat-penalty 1.0 ^
--ctx-size 200000总得感觉各种窗口参数设置太过分散，也不全，有些参数好像还有问题，比如"gpu_split",是否过时了，我在官方文档没找到这个参数。
最好还有个类似config或bat文件一目了然所有启动参数并手动修改的界面，窗口设置给新手，文本编辑给老手。或者就是参数设置窗口再优化一下，一目了然。
（目前改config文件后好像会被窗口设置覆盖，两者最好能同步）。 -
@marsempire Github已經更新到0.4.1，應該你提到的東西都改好囉
@MK-CHAO
我感觉自己有这个软件的需要，所以不免问题多了些，然后受你启发，我准备自己也用ai编一个，然后不断提需求
相信ai不会燃尽
-
，J johnnybegood 引用了 此主题
-
费了两天劲，做出来了……
