Qwen3.6-27B-PrismaQuant-Heretic-5.25bit-vllm

這個模型比PrismaSCOUT還要多2GB權重, 變相Pro 4500就需要把上下文降低到130K ~ 150K左右, 降低太多對我編程來說不利所以我也沒用

日常使用估計問題不大

你也可以自己找找看AutoRound或者AWQ的免审察模型, 不過就沒有NVFP4加速了

看上下文長度

因為我平時拿來編程, 150K大約63 tks, 210K也有57tks左右

速度會更快, 代價就是模型在呼叫工具 (Hermes, OpenCode, Cline)會更容易有問題

Autoround, AWQ是單純針對精度作優化, 表現持平, 速度就沒有NVFP4快

用NVFP4模型就需要避開激活 (Activation) 層都被壓成NVFP4的模型, 尤其是linear_attn層

我目前也是用PrismaSCOUT配合OpenCode日常使用

@566656661 说:

@Marco-ZHANG

可以參考一下我發過的帖子

都是RTX Pro 4500配上不同量化模式下的模型 (AWQ, AutoRound, PrismaQuant, MoQ, K Quant) + 不同引擎 (vLLM, LLama.cpp)

@terry said:

这问题你不该问我，是我要白嫖你的测试数据做视频。

有什麼需要我在空閒的時候再試試看嘛?

不過最近這幾個星期有項目準備開放給用戶, 星期六需要加班 + 星期日休息, 所以可能需要等一等

您的帖子我看了一下，感觉像看天书，请教一下如果我用NVFP4的模型在这块卡上还速度还能再快些吗？

@terry 说:

@Marco-ZHANG 我对Pro 4500的算力不是很了解，按理说，你的数字不算低，但是肯定不亮眼，你开MTP的情况下才50t/s，我觉得是不是稍微低了点，还能和xtx一个水平吗？xtx过往的帖子似乎在60t/s左右。
Prefill的话，肯定xtx有优势了，因为带宽的问题，xtx是960g/s。
这问题你不该问我，是我要白嫖你的测试数据做视频。

感谢Up主解答，看来还有优化空间。

可以參考一下我發過的帖子

都是RTX Pro 4500配上不同量化模式下的模型 (AWQ, AutoRound, PrismaQuant, MoQ, K Quant) + 不同引擎 (vLLM, LLama.cpp)

@terry said:

这问题你不该问我，是我要白嫖你的测试数据做视频。

有什麼需要我在空閒的時候再試試看嘛?

不過最近這幾個星期有項目準備開放給用戶, 星期六需要加班 + 星期日休息, 所以可能需要等一等

@Marco-ZHANG 说:

https://ai.5high.org:3000/

这玩意挺有趣的，是自己可以搭建一个AI算力供应接口对吧，值得有闲置算力的人尝试，其实弄个二维码，写个简单验证程序，小额度是可以玩玩的

• --block-size=16（降首token延迟）
• --num-scheduler-steps=8（提连续请求吞吐）
• --enable-chunked-prefill=false（减显存碎片）

这三个调完基本就到单卡天花板了。RTX Pro 4500 的瓶颈在显存带宽（576 GB/s），不是核心算力，所以模型不变的前提下提不了太多。

你如果方便跑个 benchmark 贴一下 prefill 延迟和 decode 速度，我可以帮你看看是不是哪项参数还有漏。另外如果你用这卡跑 ComfyUI + video 类工作流，也可以另外讨论优化方案——那种场景的瓶颈分布和 LLM 推理不一样。

@williamlouis 说:

不错。总额度这个6毛7分2 是谁的？

我自己装了个前端方便自己统计token和调用次数而已

https://ai.5high.org:3000/

1. 带宽利用率：RTX Pro 4500 的显存带宽约 576 GB/s，Qwen3.6-27B AWQ (4bit) 显存占用约 15-16GB。50 t/s 的 prefill+decode 混合吞吐大约占理论带宽的 50-60%，对 vLLM 单卡来说是不错的水平。

2. 对比基准：4070 Ti Super（类似核心）在同类模型下通常 35-45 t/s。Pro 4500 能到 50+ 说明 vLLM 的 AWQ kernel 在这代核心上调度比较好。

3. 优化空间（小，因为已经接近天花板）：

   • 如果追求更低首 token 延迟，可尝试 --block-size=16（默认32），首 token 能再降 10-15%
   • 如果追求峰值吞吐，试一下 --num-scheduler-steps=8（默认1），连续请求场景能提升 5-10%
   • --enable-chunked-prefill=false（如果当前开启了）可以减少显存碎片
   • MTP=2 已经是最佳设定了，不用再调

4. 对比 llama.cpp：同样模型在 llama.cpp -b 4096 -ub 4096 下大概 40-55 t/s，差距不大。vLLM 的多batch优势在独占推理（单用户）时并不明显。

卡是好卡，稳定两周说明散热和供电都没问题。