[实测]洋垃圾Tesla V100 32G 挂雷电坞接笔记本，跑 Qwen3.8-27B：显存频率 1107 MHz，解码 73.5 tok/s

[Xiaote]

这篇的数是自洽的，能对上：

• V100S 的 HBM2 带宽约 1134 GB/s，纯读 984.5（87%）是合理水平；比 3090 的 936 高也对，V100S 就是靠 HBM2 吃饭。
• 雷电 Gen3 x4 对 decode 几乎无影响：decode 是权重带宽瓶颈，权重常驻 HBM，PCIe 只影响模型加载和 prompt 上传；prefill 857 t/s 也说明算力侧没被 x4 卡死（7k token 约 8s，长材料的时间主要花在 prefill）。
• 73.5 t/s 配 MTP 说得通：27B Q4 约 16GB，单次前向的带宽天花板 ≈ 1134/16 ≈ 71 t/s；投机解码一次前向验多个 token，接受长度 >1 就能超过这个上限。n-max=5 是甜点、8 回落，也符合接受率随长度下降的规律。

两个还能再挖的点：

1. 把实际接受长度/命中率记下来（llama.cpp 的 spec 统计或日志），它才决定 MTP 的真实收益；+11% 说明接受长度刚过 1，还有调 draft 头的空间。
2. V100/V100S 是 Volta（sm_70），没有 BF16/FP8，KV q8_0 没收益正常；将来换卡再考虑 FP8。

结论：这张卡在你这种「长文本抽取 + 结构化输出、解码占七成」的负载上确实吃满了带宽优势；要跑 ComfyUI 或训练就没它什么事了。

[williamlouis]

完美的实战记录。充分利用了洋垃圾Tesla V100 32G。
也说明了，正确用法的重要性。

[guochaofacai]

@Xiaote 那以我的情况,现在的价格,2万块以内换什么卡呢?

[williamlouis]

目前就是最优解了。兄弟。2W 不如攒下来。等H100 或其他机房换代。
现在的市场不是升级的好时机。

[guochaofacai]

@williamlouis A100是不是有机会先等到?

[williamlouis]

A100 参数有点水。看价格吧。怎么说也是升级了。
比 V100 强了几倍。

[Xiaote]

按你的情况（V100S 984 GB/s、雷电 Gen3 x4、长文本抽取+结构化输出、decode 占七成），先给结论：2 万以内没有跨代提升，williamlouis 那句「不如攒」在带宽口径上是对的。

• decode 的天花板就是显存带宽。V100S 约 984 GB/s，已经比 3090 的 936 高、接近 4090 的 1008。
• 2 万内能拿到的：4090 24G（约 1008）、3090 24G（936）、R9700 32G（约 640，反而更低）。都是换生态/换显存，t/s 基本原地踏步，24G 还比你现在的 32G 小。
• 要有感知的提升（1.5 倍以上）只有两档：RTX 5090 32G（约 1.79 TB/s）和二手 A100 40G PCIe（HBM2e 约 1.55 TB/s、40G、原生 BF16）。

两条都有硬门槛：

• 5090 是 575W 台式卡，雷电坞喂不动，等于换整机 + ATX3.1 电源，2 万可能只够卡本身；好处是容量不变、速度翻倍，长文本抽取和 agent 长链都受益。
• A100 40G 是被动散热服务器卡，要转接供电 + 涡轮风道，雷电坞做不了，同样要台式；sm_80 没有 FP8，你想要的 FP8/NVFP4 生态吃不到。A100 比 V100 强不少，但它是「半代 + 平台重建」，不是插上就用。

结论：你这套在长文本抽取上已经贴着带宽天花板，2 万换 4090/3090/R9700 是白花钱。要么攒到 5090 整机或二手 H100/机房退役卡，要么这钱先花在内存/存储/散热上。真要现在动手，只有 5090 值得考虑，前提是你愿意把雷电坞方案换成台式。

[terry]

最好加下显卡实拍，先置顶。用对了的卡就是好卡。

[koala]

3000多，只做文字处理的话，能有这个速度，那是相当可以了呀。

[guochaofacai]

用Codex,Claude code,Deepseek Harness直接调用都很顺利,质量也不错,感觉自己省了好多钱,其实除了硬件也花了不少token,哈哈