V100以NVFP4量化運行Strata實測 Qwen 3.8 Flash Next

[gao Gao]

如果内存空余多,是否可以扩大下面的设置,我个人体感超过10GB缓存对于某种情况下 Thinking速度会变快 当前配置文件的 args 里设置了这两个参数：
--conversation-cache-mib 4096
--conversation-cache-slots 2
意思是：Strata 最多为 2 个暂时切开的对话保留状态，缓存总量上限 4096 MiB（4 GiB）。这是总上限，不是每个槽各 4 GiB，也不代表同时运行 2 个请求。
缓存不会启动时一次性占满；在不同对话之间切换时才可能逐步使用 RAM。复用还要求提示词前缀及图片、推理模式等匹配。修改这两个值后，需要重启模型才会生效。

[dardeaw feng]

@gao-Gao
batch slot session 吃 VRAM，這個會讓速度稍微掉一點，好處是切換對話時秒切

[soop ladios]

UD-Q4_K_XL（Unsloth）	111 GB	72 GiB	~88 GB	93.1%	4-bit 中品質最好
NVFP4（Strata GPTQ 版）	128 GB	~80 GB	~80 GB	92.09%	V100 無 FP4 tensor core，走 8-bit 精度路徑

請問照這個表, 不是UD-Q4_K_XL品質比較好嗎?為什麼選NVFP4?

[PhilipShi2026]

1、121GB RAM感觉内存组合不出来，写错了？
2、这个配置当前容易实现的配置，烦请测试下ComfyUI的情况如何？
@dardeaw-feng

[dardeaw feng]

@PhilipShi2026 128G內存 但Agent偵測每次都會少 可能他沒把基本開銷算進去
ComfyUI畫圖可以 但生影片最好買單卡32G的版本

[dardeaw feng]

@soop-ladios 對 但能省8G的RAM會快一點 然後讓Volta逼格比較高
你的問題跟過去對Q4 vs NVFP4的問號都是一樣的，若你是50系顯卡除了空間省一點還能利用FP4加速讓prefill速度更快

[Lei Gao]

后悔当时没买32G的 V100 只搞了个16G的，买少了

[soop ladios]

@dardeaw-feng 原來是這樣，我是雙卡v100 32G, 是跑UD_K-Q4-XL

[Prio]

贴主，想问下，你的IQ3_S 是用的哪个模型？

[terry]

@Lei-Gao 现在也可以买啊 ，有什么后悔的。16G的才几百块，改好的才1000多，全亏了能亏多少？

[Lei Gao]

@terry 是的。我只是感慨，什么垃圾都有属于自己的春天。 对于垃圾佬，只要没有抄底就感觉是亏了。毕竟垃圾佬玩的是情绪价值，享受百元抄底万元硬件的快乐和低价玩机不断折腾的过程。中年男人的手办，从此多了一样——本地ai算力机。
对于生产力，只需要看投资回报。只要能算账算过来，8张 RTX pro 6000 都不贵。