你好NVFP4：strata-0.1.44.1，qwen3.8-flash-next，rtx pro 5000 48GB + 64GB RAM，decode 130t/s，prefill2600 t/s

[kop wang]

如题。

相较于只有ISTA-DASLab孤立跑分的IQ3系列，nvfp4有英伟达官方站台，所以其能力会更有说服力。

更何况nvfp4并不是全4bit，很多参数都保持了全量bf16。

对于64GB ram + rtx pro 5000 48GB而言。瓶颈主要是因为专家变大了，导致显存只能放进13500个专家，从而专家命中率从99.7%降低至大概97.x~99%。

然后就是因为内存的紧张，所以Conversation cache只能维系在8GB，4slot。

其他的配置保持不变。
如惯例，贴出我的配置表：

args": [
  "--pack",
  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\pack",
  "--native",
  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\qwen-nvfp4-gptq-dense.gguf",
  "--native-dense-gguf",
  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\qwen-nvfp4-gptq-dense.gguf",
  "--ple-gguf",
  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\ple-fp8.gguf",
  "--embd-gguf",
  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\token-embd-bf16.gguf",
  "--expert-profile",
  "C:\\work\\Strata\\data\\expert-profile.bin",
  "--expert-cache",
  "auto",
  "--prefill",
  "auto",
  "--spec",
  "4",
  "--mtp",
  "C:\\work\\Strata-data\\mtp\\rt",
  "--max-context",
  "262144",
  "--kv",
  "k8v4",
  "--resident-budget-gib",
  "39",
  "--vision",
  "--vram-reserve-mib",
  "700",
  "--spec-min-p",
  "0.5",
  "--pool-workers",
  "2",
  "--conversation-cache-mib",
  "8192",
  "--conversation-cache-min-tokens",
  "20000"
 ],

[Tony Wang]

先留爪, 准备稍后抄作业

[kop wang]

@Tony-Wang 虽然数据上好像比IQ3_XXS掉了很多，但实际使用差距不大。

可能跟反复thinking长度变短有关。
最影响体验的就是Conversation cache变少了，导致能缓存的会话变少。

如果老哥超过64GB ram，应该可以用到爽

[Tony Wang]

我是 128G , 不过看prefill 2000多好像不太高.

[kop wang]

@Tony-Wang 那就没有这个烦恼了，Conversation cache可以拉满。

[张光璞]

pro5000 真的强。 曾经有一块3万8 的pro5000 摆在我的面前，我没有下单。

后来涨到了5万8 ，最后买了2x 9700 2x7900

[kop wang]

@Tony-Wang 说:

不过看prefill 2000多好像不太高.

这个还好，我本人用的是claude code驱动，冷启动直接50k token的prefill，总体来讲也能接受。

而且这个2600是strata的 bench.bat跑出来的，实际中要高些。

[Tony Wang]

@张光璞 我是在3.8万时候入手的, 还得感谢 @terry 的推荐.

[张光璞]

@Tony-Wang 说:

@张光璞 我是在3.8万时候入手的, 还得感谢 @terry 的推荐.

老特配享太庙

[applejuice]

@张光璞 其实也不一定不好
2x9700 跟 2x 7900 能做的应该比单张5000 pro 多

只是功耗 维护是个问题

[张光璞]

@applejuice 说:

@张光璞 其实也不一定不好
2x9700 跟 2x 7900 能做的应该比单张5000 pro 多

只是功耗 维护是个问题

N卡的生态还是好太多了。只是多卡玩法比较多样而已.

[terry]

@Tony-Wang
我哥你要感谢你的钱包够厚，我推荐人买RTX Pro6000， 也不是所有人都买了。我也知道这卡会涨，但买不起

[imbiplaza ASUS]

资讯跑得很快。。。。。。。。。我还是需要一点呼吸空间

[游志浩]

向优秀老哥学习选配了rtx pro 5000 48GB + 64GB RAM，目前用llama.cpp 跑qwen3.8 27b Q8 KV 256k 个人用单并发，但是感觉任务一长速度上不去大概decode 30T左右，prefill也是2000多。老哥decode 130t/s，prefill2600 t/s，这个速度非常不错了感觉，不知道flash模型使用质量体感比27b怎么样？