根据https://www.youtube.com/watch?v=nU9c-PffHPg&t=361s，我用2080ti22G可以跑qwen3.6-35b模型24token/s
cuda下载是12.4
启动参数
@echo off
chcp 65001 >nul
cd /d C:\llm
llama-server.exe ^
-m "models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" ^
--mmproj "models\mmproj-BF16.gguf" ^
-ngl 99 ^
--n-cpu-moe 999 ^
--flash-attn on ^
--jinja ^
-c 65536 ^
-t 10 ^
-b 4096 ^
-ub 128 ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--mlock ^
--host 127.0.0.1 ^
--port 8080
pause