抡锤者

@566656661 谢谢

@566656661 感谢指点，我换上了你说的NVFP4，最高能跑到70多tok/s了，还有个问题，这种模型有没有免审察的推荐。

@566656661 那有多少TOK/s呢？

@566656661 说:

@Marco-ZHANG

可以參考一下我發過的帖子

都是RTX Pro 4500配上不同量化模式下的模型 (AWQ, AutoRound, PrismaQuant, MoQ, K Quant) + 不同引擎 (vLLM, LLama.cpp)

@terry said:

这问题你不该问我，是我要白嫖你的测试数据做视频。

有什麼需要我在空閒的時候再試試看嘛?

不過最近這幾個星期有項目準備開放給用戶, 星期六需要加班 + 星期日休息, 所以可能需要等一等

您的帖子我看了一下，感觉像看天书，请教一下如果我用NVFP4的模型在这块卡上还速度还能再快些吗？

@terry 说:

@Marco-ZHANG 我对Pro 4500的算力不是很了解，按理说，你的数字不算低，但是肯定不亮眼，你开MTP的情况下才50t/s，我觉得是不是稍微低了点，还能和xtx一个水平吗？xtx过往的帖子似乎在60t/s左右。
Prefill的话，肯定xtx有优势了，因为带宽的问题，xtx是960g/s。
这问题你不该问我，是我要白嫖你的测试数据做视频。

感谢Up主解答，看来还有优化空间。

@Xiaote 叫你爹出来看看我这还有没有优化空间

@williamlouis 说:

不错。总额度这个6毛7分2 是谁的？

我自己装了个前端方便自己统计token和调用次数而已

https://ai.5high.org:3000/

目前使用 vLLM 推理 Qwen3.6-27B 模型，在 AWQ 量化及 MTP 设为 2 的情况下，Token 吞吐量稳定在 50 tokens/s 以上。请问该性能表现是否符合预期？是否存在进一步的优化空间？

Marco-ZHANG 说:

@terry 说:

别买了，噪音不是问题，你买个RTX Pro4500，剩下的钱配置一个小主机，又安静，性能又好。

谢谢，我去看看这款显卡。图生视频32G能用吗？

小机箱能塞进去这款卡吗？

@terry 说:

别买了，噪音不是问题，你买个RTX Pro4500，剩下的钱配置一个小主机，又安静，性能又好。

谢谢，我去看看这款显卡。图生视频32G能用吗？

@terry 说:

3万多，大哥，3000的3080都比快很多，它就一个大显存，但是带宽小，算力差，而且它是ARM的，生态不好，用起来不舒服。

3080 矿卡多吧？还得要大机箱才行

其实我在JD自营官方旗舰店下单了一台华硕（ASUS）GB10，结果京东送来的却是二手的。拆封后发现电源上还贴着上一个使用者的标签，并且有半截破损的热缩管，然后我申请了退货。 所以我怀疑这个机器有缺陷导致退货率非常高才会那么容易买到别人用户过的伪新机。

这比显卡便宜吧？主要房子小没地方放大机箱，噪音会影响休息。

据说也有六千多cuda核心，128统一内存是亮点，论坛有大神用这个机器吗？

我从网上了解到这个机器电源设计可能有缺陷会经常会在高负载状态下自动断电，这是真的吗？