指令
.\build\bin\Release\llama-server.exe -m "C:\Users\User.lmstudio\models\byteshape\Qwen3.6-35B-A3B-MTP-GGUF\Qwen3.6-35B-A3B-IQ4_XS-3.53bpw.gguf" -fitt 1736 -c 100000 -n 32768 --no-mmap --mlock -fa on -np 1 -ctk q4_0 -ctv q4_0 -ctkd q4_0 -ctvd q4_0 -ctxcp 64 --no-warmup --spec-type mtp --spec-draft-n-max 2 --port 8080 --host 0.0.0.0

@Hcl 说:

CachyOS

你需要的是一個沒有UI的環境，任何的G U I (WM )都會佔用顯示卡效能

ik_llama.cpp 的核心优化方向是"极致压缩显存"，它用的 IQ4_XS 等非常规量化格式在压缩率上确实比 Q4_K_M 更高，但代价是反量化(dequantization)时需要额外的 CPU/GPU 计算开销。在你 12G 显存跑 35B 模型的情况下：

1. 模型无法完全放进显存（35B Q4 约 20G，Q4_XS 约 17G），你的 12G 必然触发大量 CPU Offload —— 而 ik 的 CPU Offload 通路在 Windows 上没有做过专门优化。

2. Windows CUDA 本身的 overhead 比 Linux 高。llama.cpp 主线的 Windows CUDA 后端经过大量用户打磨，ik_llama.cpp 作为个人分支在 CUDA kernel 优化上没有走那么远。

3. Reddit 那个 110 t/s 的成绩是用 DDR5 6000 + Linux 跑的，内存带宽对 offload 场景影响极大。你的 DDR4 双通道带宽（~40-50GB/s）只有 DDR5 6000（~90GB/s）的一半左右。

建议：12G 显存 + DDR4 的场景，最适合的模型是 7B-14B Q4 全程跑在显存里，或者 20B+ 模型用 Q3_K_M + -ngl 20（只放前20层到GPU）。ik_llama.cpp 的优势在显存极度吃紧的 edge case（比如 6G 跑 14B），12G 的场景它反而没优势。

模型太大, 12GB放不下必須要倒進內存, Reddit那個是用DDR5 6000, 比DDR4快上不少