論 迷你電腦 配合 RTX Pro 4500 的簡單測試, 以及Blackwell架構下的一些嘗試 (僅限Dense模型)

[terry]

@566656661 香港便宜这么多啊，能不能带过来，还是要补税？这特么暴利啊

[566656661]

@kop-wang

基於這個文章我也特意跑去試試INT4, 只能說老黃沒有把最後的良心都扔掉, 如果NVFP4比INT4沒有更多優勢的話, 真的要駡街了

vLLM cu130 nightly (0.20)

啓動跟測試參數跟1樓一樣, 單純換了個模型

| model                                     |             test |              t/s |     peak t/s |          ttfr (ms) |       est_ppt (ms) |      e2e_ttft (ms) |
| :---------------------------------------- | ---------------: | ---------------: | -----------: | -----------------: | -----------------: | -----------------: |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |           pp2048 | 1982.15 ± 894.28 |              |   1551.80 ± 975.03 |   1473.35 ± 975.03 |   1551.80 ± 975.03 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |            tg480 |     70.03 ± 2.28 | 87.67 ± 1.25 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |   pp2048 @ d1000 |  2639.16 ± 40.73 |              |    1233.51 ± 17.91 |    1155.06 ± 17.91 |    1233.51 ± 17.91 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |    tg480 @ d1000 |     71.09 ± 5.72 | 91.00 ± 5.89 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |   pp2048 @ d5000 |  2529.19 ± 13.93 |              |    2865.45 ± 15.52 |    2787.01 ± 15.52 |    2865.45 ± 15.52 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |    tg480 @ d5000 |     71.72 ± 1.86 | 91.33 ± 7.85 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |  pp2048 @ d10000 |   2433.99 ± 3.22 |              |     5028.07 ± 6.36 |     4949.63 ± 6.36 |     5028.07 ± 6.36 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |   tg480 @ d10000 |     71.66 ± 3.22 | 90.67 ± 1.70 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |  pp2048 @ d20000 |   2293.80 ± 0.84 |              |     9690.43 ± 3.52 |     9611.99 ± 3.52 |     9691.58 ± 3.56 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |   tg480 @ d20000 |     72.64 ± 2.80 | 88.67 ± 8.22 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |  pp2048 @ d50000 |   1948.24 ± 1.20 |              |   26793.70 ± 16.21 |   26715.25 ± 16.21 |   26796.17 ± 16.70 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |   tg480 @ d50000 |     70.21 ± 5.02 | 85.67 ± 6.80 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound | pp2048 @ d100000 |   1567.89 ± 0.72 |              |   65164.49 ± 30.24 |   65086.05 ± 30.24 |   65168.84 ± 29.64 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |  tg480 @ d100000 |     62.20 ± 1.73 | 84.67 ± 2.62 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound | pp2048 @ d150000 |   1313.09 ± 0.56 |              |  115872.26 ± 49.39 |  115793.81 ± 49.39 |  115879.31 ± 48.59 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |  tg480 @ d150000 |     59.53 ± 3.51 | 80.33 ± 2.05 |                    |                    |                    |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound | pp2048 @ d200000 |   1128.87 ± 0.81 |              | 179060.75 ± 127.67 | 178982.30 ± 127.67 | 179069.38 ± 127.94 |
| Qwen3.6-27B-heretic-v2-mtp-int4-AutoRound |  tg480 @ d200000 |     54.24 ± 1.72 | 74.33 ± 2.62 |                    |                    |                    |

GPT分析

指標	結論
測試組合	cu130-0.20-int-4-autoround-mtp 對比 cu130-0.20-nvfp4-mtp
pp2048 / prefill t/s	NVFP4 明顯較快；INT4 AutoRound 平均 prefill 約慢 51.5%
短 context	INT4 AutoRound 在純 pp2048 約慢 74.4%，d1000 約慢 67.6%
中等 context	d5000 至 d20000，INT4 AutoRound prefill 約慢 55% - 62%
長 context	d50000 以上 INT4 AutoRound 仍較慢，但差距縮小到約 27% - 47%
ttfr / e2e_ttft	NVFP4 明顯較低；INT4 AutoRound 平均 TTFT 約高 124%
tg480 generation t/s	INT4 AutoRound 平均約快 1.2%，但不是全面勝出
peak generation t/s	INT4 AutoRound 平均約快 4.9%，多數 context 的 peak 較高
長 context generation	在 d150000 和 d200000，INT4 AutoRound 的平均 generation t/s 反而低於 NVFP4

結論

在 cu130-0.20 nightly 下，NVFP4 MTP 的主要優勢非常清楚：prefill throughput 和 TTFT 明顯好過 INT4 AutoRound MTP，尤其短到中等 context 差距很大。

INT4 AutoRound MTP 的優勢主要在 decode / generation，平均 tg480 稍快約 1.2%，peak generation 約快 4.9%，但長 context 下這個優勢不穩定，d150000 和 d200000 反而較慢。

整體而言，如果 workload 是 prompt-heavy、RAG、長 prompt prefill 或重視首 token 延遲，NVFP4 MTP 明顯較合適。若 workload 幾乎完全是 decode-heavy，而且可以接受較慢 TTFT，INT4 AutoRound MTP 才有比較價值。

---

理論上KV Cache可以透過使用eugr/spark-vllm-docker的docker image用tq-t4nc來進一步降低 (FP8的一半), 引用vLLm自己的文章

Pareto frontier for Qwen3-30B-A3B-Instruct-2507 on 2xH100. FP8 matches BF16 throughput at 2x capacity. TurboQuant variants extend capacity to 2.3-3.7x but at 40-52% throughput reduction.

精度上也算可以接受吧

[566656661]

@terry

當然沒有這麽暴利的事情啊XD

香港便宜是因爲不用交電子稅, 我有個群友之前想繞過代理, 把自己的4090帶去華强北修結果那張卡被扣押, 不給稅不能過, 儘管什麽包裝都沒有并且也說是自己用, 最後還是走代理送修了

便宜的卡估計會一隻眼開一隻眼閉, 但是這些貴價卡估計沒戲了

[566656661]

---

碎碎唸3

--linear-backend估計因爲太新

用cu130 nightly跑會吵沒有這個選項

用cu129 v0.22.1跑會說cu129 不支持cu130的b12x

這個可能要等cu130出v0.22了

---

可是moe在v0.22又支持是什麽鬼

[wml-ai]

@566656661 噪音怎么样？外置的是不是更明显？能用llama.cpp 测试一下吗？4500 比 9700 贵 1.2万，当时也看了很久，超预算了，一咬牙——没买。

[566656661]

@wml-ai

噪音的話很安靜, 畢竟只有200w, 有load的時候風扇只有70%轉速

llama.cpp的話還沒太認真玩過, 我找個時間試試看

[rolex lo]

@wml-ai 一樣想法, 半年前想想, 應該不會入AI 坑吧
最後, 乖乖上會. 半年前 應該不會是1.2萬?

現在已經1.4萬...

我再想想的話, 應該要進老人院了...(被淘汰... )