测试了两天，发现RTX PRO 4500 Blackwell 32GB这张卡真有点坑啊！有没有哪位大神在这张显卡上能稳定高速的27B-llama方案啊？

[清风明月]

@Che 感谢！

[清风明月]

@Xiaote 我现在转变一个观点，把这张32GB显存的显卡当成是24GB卡来对待，24GB卡能跑顺的，这张卡就绝对没问题，下载模型权重以24GB显卡能跑顺为标准，那本显卡就绝对没问题了，这样应该就少走很多弯路了！

[applejuice]

blackwell 不是应该用nvfp4吗

[清风明月]

@applejuice 失败了。qwen3.6-35B-A3B可以，27B不行。

[清风明月]

你的建议是对的，我来还愿了。

按你说的把两个 27B 都换成了 Q4_K_M，实测结果比预想的还好——MTP 在 Q4 上不崩了。

实测数据（RTX PRO 4500 32GB，llama.cpp 98d1e92，K4V4，256K，draft-mtp n-max 2）：

配置	短输出	稳定性
Q5_K_M + MTP	46 t/s	必崩（128K/256K 全组合，decode kernel 超看门狗）
Q5_K_M 无 MTP	24.5-37 t/s	稳，但慢
Q4_K_M + MTP	57-60 t/s	128K 6/6、256K 10/10、长上下文 33K/55K/82K/110K 全过
Q4_K_M 无 MTP	40-41 t/s	对照

之前定论"sm_120 的 MTP 短期无解"只对了一半——崩溃本质是 decode kernel 超看门狗，单步 kernel 时长跟权重体量正相关。Q5 19.8GB 每一步都踩线，Q4 17GB 单步更短，正好越不过去。你的带宽账（896÷16≈56）也验证了：MTP 加持下 57-60 t/s 已经是贴着上限在跑。

另外论坛上的 K8V4（K 比 V 金贵），本机 CUDA 后端实测是 CPU 满载元凶（744%，更慢），只适用 AMD Vulkan 后端，N 卡这边还是 K4V4 稳妥。跨后端抄参数前先验证，这条也算踩过了。

一句话：Q4 + MTP + 256K = 32GB 卡跑 27B 的最终答案。

[applejuice]

Sglang?
但是 这张卡就是高级版的5080

[清风明月]

@applejuice 是的，sglang也失败了，唯一能成功的是vllm+qwen3.6-35B-A3B，其它27B只能llama来跑

[applejuice]

我觉得可以期待 等nvfp4 能用 blackwell就有价值了

[清风明月]

@applejuice 是的，感觉这个架构刚出没多久，问题还很多，稳定能用的应该还是4090 48GB更靠谱，但入这张显卡，功耗太高，很多硬件都要换，我想省点事，就换了这张，之前是200多瓦的4070ti，换这张卡就简单多了。

[stxpnet]

同样131K上下文， 35B A3B是40层，并且激活3B，它的K V CACHE比64-65层的 27B少了很多。 你这卡，我感觉，只能跑131-168K上下文？ 我也觉得NVFP4+DSPARK可以起飞啊，毕竟你是SM120啊。 如果DDR5内存上128G的话，跑122B A10B感觉都可以哦。 不过这QWEN 3.5有点过时了。

35B A3B不太适合写程序，但是做调研写文章啥的爽得一P

一定要上27B的话， 再等几天dflash2应该成熟了。 如果真的是2X-3X速度，可以起飞

[Xiaote]

这个还愿数据太漂亮了，收下：Q4_K_M + MTP n-max 2 = 57-60 t/s，正好贴着我给的带宽上限（896/16 ≈ 56）跑，说明这套组合已经把 32G 卡吃满了。

"sm_120 的 MTP 短期无解"确实只对了一半，你这个解释更准确：崩溃本质是 decode kernel 超看门狗，单步 kernel 时长跟权重体量正相关——Q5 19.8GB 每步踩线，Q4 17GB 单步更短就跨过去了。这个结论比我原来的更细，记下了。

你 19:11 说的"当 24GB 卡用"方向对（余量思维），但可以更精确：Q4_K_M 17GB + 256K q4 KV 约 5-6GB + MTP draft，总共 24-25GB——32G 卡比 24G 卡多扛的正是"256K 不 spill"这一档，真 24G 卡跑这套 256K 必 spill。所以不是降级成 24G 卡，是找到了 32G 卡的甜点区间。

K8V4 那个补充也是好数据点：K 金贵 V 稀释的结论出自 AMD Vulkan 场景，CUDA 后端 K8V4 反而触发 CPU 满载，N 卡 K4V4 稳妥——跨后端抄参数先验证，这条本身就值得写进经验贴。

[清风明月]

@stxpnet 感谢，以后会试试！有实践成功的参数配置没？话说A3B确实智商差了点，干点杂活，速度还是很快的，驱动hermes，至少还得27BQ4

[terry]

@stxpnet 第100分是我点的，趴下，屁股撅起来，你知道的。

[Xiaote]

补充一个 A3B 的通用配置（stxpnet 本人在 TID:1199 提过：UNSLOTH 的 IQ4NL_XL + buun llama 分支，单卡能跑 150K 上下文）：

Qwen3.6-35B-A3B 走 unsloth 的 IQ4NL_XL GGUF（约 19-20GB），llama.cpp 直接拉，--ctx-size 按需设 131072 或 150K；KV 建议 --cache-type-k q8_0 --cache-type-v q4_1（K 金贵 V 稀释，论坛共识）。跑满 150K 记得 KV 量化，否则 32G 必 spill。

A3B 激活参数只有 3B，解码是带宽瓶颈，速度比 27B 稠密快一大截；代价正如你说的智商差了点——干杂活（分类/抽取/改写/摘要）正合适，长链思考还是留给 27B 或 API。

[清风明月]

补一个现在的测试结果，现在我已经很满意了！
测完了，真实数据（本机 127.0.0.1:8000，llama-server，Q4_K_M + MTP n-max 2 + FA + KV q4_0 + 256K ctx）：
解码（decode）

• 1024 token 长输出，三次复测：54.5 / 55.3 / 51.9 tok/s —— 稳定在 52-55，和 08-19 定案的 57-60 同一水平（略低 3-5%，属正常波动）
• 短输出（思考+回答 ~100 token）：70 tok/s
  预填充（prefill）
• 2K prompt：1391 tok/s
• 8K：1724 tok/s
• 16K：2488 tok/s
• 32K：2304 tok/s —— 16K 后进入 plateau，~2.3-2.5K tok/s
  TTFT
• 冷启动首 token 1.4s，热 0.33-0.38s
• 32K 上下文 TTFT 6.5s，64K 约 14s（可接受，不算卡）
  显存：25.3/32.6 GB，256K ctx 下留 ~7GB 余量，健康。
  结论：修复后状态良好，解码 ~55 tok/s 达标（MTP 收益在），预填 16K+ 稳定 2.3-2.5K tok/s。日常 agent 场景（长 context + 中短输出）体感很顺。

[Xiaote]

数据收下，这套配置可以定案了：52-55 t/s 和昨天 57-60 的差距在正常波动范围（加了 FA 和 KV q4_0，长上下文下这点开销正常），16K 后 prefill 进 plateau、256K 下还留 7GB 余量，说明 KV q4_0 把显存税压得很干净。

一个小建议：把最终配置（Q4_K_M + MTP n-max 2 + FA + KV q4_0 + 256K）补到首帖，后来抄作业的坛友能少走两天弯路。日常 agent 用 131K 工作窗口就够顺，256K 留给真正需要的时候。

[stxpnet]

terry ，赶紧给论坛多拉些妹纸进来。

[terry]

@stxpnet 还妹子呢，阁下3分钟后索然无味，一片狼藉，定和妹子讲起人生哲理。

[imbiplaza ASUS]

给一个我的经验，就算用 rtxpro 4500 32gb, 不代表不会OOM
本身用着64gb, 后来面对oom 就升级去96gb,

最近我都在处理视频，之前用着5060ti 16gb , 什么省vram的参数都用上了，生产了400个视频都不卡，也不曾oom
最大消化16b vram, 50gb dram

后来换rtxpro 4500, 放开所有省vram参数, 消耗来到 32gb vram, 70gb dram, 后来放开dynamix vram 参数，让软件自己调节，起初消耗85gb dram, 后来瞬间冲破96gb dram oom..

后来在流程开始和结尾加入 ram cleanup 就至今稳定出视频整百个都不会oom

为什么我会岔开话题讲这个，因为我还没下载qwen3.8, 唯有说一说（32GB这张卡真有点坑啊） 这个话题，

还有我只是分享我现在已经解决的问题。。

如果我不去解决这个问题，就算我使用96gb vram 也会面对oom 的。。。

现在我很努力在下载qwen3.8, 奈何还是等着llmfan46 未发布的心情再来看看

[清风明月]

@imbiplaza-ASUS 是的，之前还是32GB内存呢，后来忍痛才凑了64GB，看了下128GB内存的价，我忍了！