Q4-Q6 区间现在的格局大概是这样：

量化格式，质量/bit 排序

• UD 系（Unsloth Dynamic，你说的 UD 3.0 应该就是它）：同体积质量明显比老 K-quants 高一档，UD-Q4_K_XL 这类 XL 后缀是"同 bit 数加大 block 精度"。27B 的 UD-Q4_K_XL 大概 17-18G，正好在你说的 16-18G 甜点里；Q5 系要 19-20G，单卡 24G 会挤 KV 空间，双卡分摊的话可以上。
• 老 K-quants（Q4_K_M / Q5_K_M）：最稳、生态最广，但同体积比 UD 差一档。
• IQ 系（IQ4_XS 等）：主要省体积/省显存，3090 不缺这点体积，不优先。
• 实测口碑上 UD-Q4_K_XL 是目前 24G 卡的公认甜点，也是 Unsloth 官方推荐日常档。

Byteshape 单独说
它家的文件不是标准 GGUF 档位——是它自己的 ShapeLearn 方法自动选数据类型，HF 上标 IQ4_XS 只是为了进 GGUF 表格显示（意思是"主量化方式 + 平均 bit 数"），实际不是 llama.cpp 的标准量化档。所以它跟 UD 不是一个体系，没法按档位比，只能实测比。Reddit 上有人测过口碑不错（tool-calling 错误更少、比 Q4_K_M 快约 9%），它家文件官方 llama.cpp 直接就能吃，想试随时能下。

框架
稳定生产选官方 llama.cpp 最新 release，所有 GGUF（含 Byteshape 的）通吃。你列的几个 fork：ik_llama.cpp（ikawrakow，SOTA 量化出身，性能好但同步上游较旧）；buun-llama-cpp（实验向，KV cache codec 黑科技）；beellama.cpp（性能向，DFlash/TurboQuant，有人 3090 上 27B Q5 + 200K 上下文跑出 2-3 倍，峰值 135 t/s）——想榨速度可以试 beellama，出问题回官方。

使用第三方权重如果想摸索一个最合适的甜点，只能自己测。
不光要测性能，还得测能力。
比如你说的Byteshape的Q4，和unsloth的Q4压根就不是一回事。
包括还有各种非拒绝微调导致的智商下降。

所以Deepseek官方也曾经表述，说第三方部署的成本在性能能力相等的情况下，成本不会比他们官方低。
这个主要表述的就是调优的难度。

3090单卡

我之前呢是觉得 3090 单卡是不可能有生产力的，所以一直是有卡，从来没有用过。本地部署
直到 DSH 出来以后，我更加坚信本地 VLLM 没有任何意义。

直到我把https://github.com/syv-ai/qwen38-27b-rtx3090
这个链接丢给 DSH，然后所有的事情我都没做。他帮我弄出来一个。|
150k 60t/s 已经稳定地跑了几天了，好像 DSH 也能用。中间所有的坑，全都碰到了。
比如说打循环，比如说 call tool 卡了.但是直接都是在 DSH区里面切换成 Deepseek 在线模型以后让它自己处理都搞定
好像中间有那么一两次没搞定，我就DSH让他来看这个论坛具体他怎么搞定的不知道，但是大概花了十来块钱吧，他就 OK 了。

再补充一点啊！ 150k 60t/s 其实是不可能的啊！超过90k以后降速，130k以后就只有几个token/s了。但是 不死机，能抗一阵子就缓过来了。