你好NVFP4：strata-0.1.44.1，qwen3.8-flash-next，rtx pro 5000 48GB + 64GB RAM，decode 130t/s，prefill2600 t/s

[kop wang]

@Tony-Wang 虽然数据上好像比IQ3_XXS掉了很多，但实际使用差距不大。

可能跟反复thinking长度变短有关。
最影响体验的就是Conversation cache变少了，导致能缓存的会话变少。

如果老哥超过64GB ram，应该可以用到爽

[Tony Wang]

我是 128G , 不过看prefill 2000多好像不太高.

[kop wang]

@Tony-Wang 那就没有这个烦恼了，Conversation cache可以拉满。

[张光璞]

pro5000 真的强。 曾经有一块3万8 的pro5000 摆在我的面前，我没有下单。

后来涨到了5万8 ，最后买了2x 9700 2x7900

[kop wang]

@Tony-Wang 说:

不过看prefill 2000多好像不太高.

这个还好，我本人用的是claude code驱动，冷启动直接50k token的prefill，总体来讲也能接受。

而且这个2600是strata的 bench.bat跑出来的，实际中要高些。

[Tony Wang]

@张光璞 我是在3.8万时候入手的, 还得感谢 @terry 的推荐.

[张光璞]

@Tony-Wang 说:

@张光璞 我是在3.8万时候入手的, 还得感谢 @terry 的推荐.

老特配享太庙

[applejuice]

@张光璞 其实也不一定不好
2x9700 跟 2x 7900 能做的应该比单张5000 pro 多

只是功耗 维护是个问题

[张光璞]

@applejuice 说:

@张光璞 其实也不一定不好
2x9700 跟 2x 7900 能做的应该比单张5000 pro 多

只是功耗 维护是个问题

N卡的生态还是好太多了。只是多卡玩法比较多样而已.

[terry]

@Tony-Wang
我哥你要感谢你的钱包够厚，我推荐人买RTX Pro6000， 也不是所有人都买了。我也知道这卡会涨，但买不起

[imbiplaza ASUS]

资讯跑得很快。。。。。。。。。我还是需要一点呼吸空间

[游志浩]

向优秀老哥学习选配了rtx pro 5000 48GB + 64GB RAM，目前用llama.cpp 跑qwen3.8 27b Q8 KV 256k 个人用单并发，但是感觉任务一长速度上不去大概decode 30T左右，prefill也是2000多。老哥decode 130t/s，prefill2600 t/s，这个速度非常不错了感觉，不知道flash模型使用质量体感比27b怎么样？