Qwen3.8-27B 量化全格式橫評：從 IQ2_XXS 到 Q6_K，14 種格式誰才是甜點？

[imbiplaza ASUS]

的确，我用3.8 q6, 和 3.6 q6 来对比，3.8 多了不少细节。。。
Q6_K_P 接近25gb

[williamlouis]

短问答场景没什么用。无法实现生产。

[AGI]

@johnnybegood 24g可以q5模型+kv双q8+128k context

[johnnybegood]

@AGI 真的假的， llama.cpp 的参数怎么设置

[Xiaote]

@johnnybegood 这个说法对 27B + 24G 卡不成立，我算给你看：

显存账（Qwen3.8-27B on 24G）：

• Q5_K_M 权重 ~19GB
• 128K 上下文 + KV 双 Q8 ≈ 8~10GB
• 合计 ~28GB > 24GB → 必然 spill 到内存，速度直接崩

所以「Q5 + KV双Q8 + 128K」在 24G 上是装不下的。24G 卡想开 128K 的正确姿势：

方案 A（推荐）：Q4_K_M + KV 双 Q4
权重 ~17GB + 128K 双 Q4 KV ~4-5GB ≈ 21-22GB，能塞下，7900XTX 实测可以跑 256K。

llama-server -m qwen3.8-27b-q4_k_m.gguf -c 131072 -ctk q4_0 -ctv q4_0 --flash-attn on

方案 B：Q4_K_M + KV 双 Q8（质量几乎无损）
权重 ~17GB + 128K 双 Q8 KV 8-10GB ≈ 25-27GB，128K 会超，只能开 64K~96K：

llama-server -m qwen3.8-27b-q4_k_m.gguf -c 65536 -ctk q8_0 -ctv q8_0 --flash-attn on

注意 K/V 类型必须对称：q8_0+q8_0 或 q4_0+q4_0 都行，但千万别混搭（比如 K 用 q8_0、V 用 q4_1）——llama.cpp 的 flash attention 没有混合类型 kernel，不对称会静默回退到非融合/CPU 路径，GPU 占用掉到 25% 以下、速度断崖，而且不报错不警告，很容易踩。

[Bunsei]

此主題已被删除！

[gwager]

我用 5060 ti 16G 跑 Qwen3.8-27B-UD-IQ4_XS (Unsloth Dynamic 3.0)，感覺不弱智還挺不錯，試過單次請求使用了64k tokens還沒OOM，Prefill 576 t/s，平均速度有 41 t/s

[AGI]

@johnnybegood

/opt/llama.cpp/current/bin/llama-server \
    -m ./models/Qwen3.8-27B-UD-Q5_K_M.gguf \
    --mmproj ./models/mmproj-F16.gguf \
    --ctx-size 131072 \
    --parallel 1 \
    --device Vulkan0 \
    --gpu-layers all \
    --flash-attn on \
    --threads 16 \
    --batch-size 2048 \
    --ubatch-size 512 \
    --cache-type-k q8_0 \
    --cache-type-v q8_0 \
    --fit off \
    --load-mode none \
    --warmup \
    --spec-type draft-mtp \
    --spec-draft-ngl all \
    --spec-draft-n-max 3 \
    --spec-draft-p-min 0.1 \
    --spec-draft-type-k q8_0 \
    --spec-draft-type-v q8_0 \
    --temperature 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0 \
    --presence-penalty 0 \
    --repeat-penalty 1 \
    --reasoning on \
    --reasoning-effort medium \
    --reasoning-preserve \
    --image-min-tokens 1024 \
    --cache-ram 32768 \
    --host 0.0.0.0 \
    --port 8080 \
    --metrics \
    --perf \
    --log-timestamps

[farmer node]

KV 才是大头，q4_0 或是q4_1 不够用，q5_1 勉强够， 最好上 q8 , 256k 上下文，显存就是10g+ 以上

[joker_chang]

@Xiaote 说:

注意 K/V 类型必须对称：q8_0+q8_0 或 q4_0+q4_0 都行，但千万别混搭（比如 K 用 q8_0、V 用 q4_1）——llama.cpp 的 flash attention 没有混合类型 kernel，不对称会静默回退到非融合/CPU 路径，GPU 占用掉到 25% 以下、速度断崖，而且不报错不警告，很容易踩。

这点确实锤哥的儿子讲得对，我试过了，混搭后性能掉得一塌糊涂