V100 32G 魔改卡能入手吗？
-
-
-
@李明 我来帮你分析一下这个 V100 32G 魔改卡 4300 元的价值。
先说结论：如果你是特定用途且有明确需求，4300 买个 32G 显存不算血亏，但有更好的选择。
V100 32G 的优点：
- 32GB HBM2 显存，跑 70B Q4 模型刚好装下
- HBM2 带宽 900 GB/s，比 RTX 3090 的 936 GB/s 略低但够用
- fp32 算力强，适合传统科学计算
硬伤：
- Volta 架构没有 Tensor Core：fp16 推理速度只有 A100 的 1/5，bf16 全靠模拟。跑主流模型（Qwen 2.5、Llama 3）速度不如 RTX 3090
- 魔改卡风险：4090 PCB 改 V100 核心，NVENC 解码器可能失效，驱动兼容性靠改 inf 文件，Win 更新可能崩
- 无保修、无售后
同价位对比：
- 二手 RTX 3090 24G（约 4000-4500 元）：24G 显存略小，但有 fp16 Tensor Core，推理速度是 V100 的 3-5 倍，驱动省心，支持 ComfyUI 所有插件
- 二手 RTX 4060 Ti 16G × 2（约 5000 元）：两张 16G 组双卡，总显存 32G，Tensor Core 更快，灵活性更高
- Tesla T4 16G（约 1500 元）：如果只是推理不需要大显存，T4 性价比极高
如果你已经在用当前的机器，能说下主要用途吗？跑大模型推理、ComfyUI 生图、还是做训练？这样能帮你推荐更合适的方案。
-
@李明 之前貼過兩張V100 32G跑Qwen3.6 27B Q8的測速給你參考:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) qwen-3.6-27b pp2048 834.28 ± 19.56 2508.84 ± 171.52 2197.12 ± 171.52 2508.84 ± 171.52 qwen-3.6-27b tg128 30.56 ± 0.79 38.67 ± 1.70 qwen-3.6-27b pp2048 @ d4096 937.27 ± 20.09 6170.01 ± 97.33 5858.29 ± 97.33 6170.01 ± 97.33 qwen-3.6-27b tg128 @ d4096 30.53 ± 0.49 38.00 ± 0.82 qwen-3.6-27b pp2048 @ d8192 952.76 ± 8.60 10102.94 ± 101.45 9791.23 ± 101.45 10102.94 ± 101.45 qwen-3.6-27b tg128 @ d8192 30.05 ± 0.74 36.67 ± 1.70 qwen-3.6-27b pp2048 @ d16384 925.11 ± 11.23 18209.55 ± 38.89 17897.84 ± 38.89 18209.55 ± 38.89 qwen-3.6-27b tg128 @ d16384 27.19 ± 1.32 34.33 ± 0.47 qwen-3.6-27b pp2048 @ d32768 854.63 ± 5.92 37259.34 ± 281.61 36947.63 ± 281.61 37259.34 ± 281.61 qwen-3.6-27b tg128 @ d32768 27.10 ± 0.80 35.33 ± 0.94 也有跑orinth-1.0-35b Q8的測試, 他是基於qwen 3.6 35BA3B去微調的, 大概可以100 t/s:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) ornith-35b pp2048 785.61 ± 15.97 2483.07 ± 66.69 2362.38 ± 66.69 2483.07 ± 66.69 ornith-35b tg128 106.71 ± 4.49 109.00 ± 5.72 ornith-35b pp2048 @ d4096 803.66 ± 14.44 7060.92 ± 293.27 6940.24 ± 293.27 7060.92 ± 293.27 ornith-35b tg128 @ d4096 102.15 ± 1.64 104.00 ± 1.41 ornith-35b pp2048 @ d8192 792.75 ± 2.92 12035.29 ± 105.50 11914.60 ± 105.50 12035.29 ± 105.50 ornith-35b tg128 @ d8192 103.90 ± 0.75 105.33 ± 0.47 ornith-35b pp2048 @ d16384 791.20 ± 7.30 21444.59 ± 125.59 21323.90 ± 125.59 21444.59 ± 125.59 ornith-35b tg128 @ d16384 104.99 ± 4.85 107.33 ± 5.31 ornith-35b pp2048 @ d32768 763.53 ± 9.87 41675.67 ± 664.23 41554.98 ± 664.23 41675.67 ± 664.23 ornith-35b tg128 @ d32768 98.68 ± 0.85 101.00 ± 0.82 GGUF模型都可以跑, 其他的幾乎不用玩了. 現在這個容量之下 , 除了Qwen 3.6 27B / 35BA3B好像也沒其他甚麼模型可以用了.
-
@李明 之前貼過兩張V100 32G跑Qwen3.6 27B Q8的測速給你參考:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) qwen-3.6-27b pp2048 834.28 ± 19.56 2508.84 ± 171.52 2197.12 ± 171.52 2508.84 ± 171.52 qwen-3.6-27b tg128 30.56 ± 0.79 38.67 ± 1.70 qwen-3.6-27b pp2048 @ d4096 937.27 ± 20.09 6170.01 ± 97.33 5858.29 ± 97.33 6170.01 ± 97.33 qwen-3.6-27b tg128 @ d4096 30.53 ± 0.49 38.00 ± 0.82 qwen-3.6-27b pp2048 @ d8192 952.76 ± 8.60 10102.94 ± 101.45 9791.23 ± 101.45 10102.94 ± 101.45 qwen-3.6-27b tg128 @ d8192 30.05 ± 0.74 36.67 ± 1.70 qwen-3.6-27b pp2048 @ d16384 925.11 ± 11.23 18209.55 ± 38.89 17897.84 ± 38.89 18209.55 ± 38.89 qwen-3.6-27b tg128 @ d16384 27.19 ± 1.32 34.33 ± 0.47 qwen-3.6-27b pp2048 @ d32768 854.63 ± 5.92 37259.34 ± 281.61 36947.63 ± 281.61 37259.34 ± 281.61 qwen-3.6-27b tg128 @ d32768 27.10 ± 0.80 35.33 ± 0.94 也有跑orinth-1.0-35b Q8的測試, 他是基於qwen 3.6 35BA3B去微調的, 大概可以100 t/s:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) ornith-35b pp2048 785.61 ± 15.97 2483.07 ± 66.69 2362.38 ± 66.69 2483.07 ± 66.69 ornith-35b tg128 106.71 ± 4.49 109.00 ± 5.72 ornith-35b pp2048 @ d4096 803.66 ± 14.44 7060.92 ± 293.27 6940.24 ± 293.27 7060.92 ± 293.27 ornith-35b tg128 @ d4096 102.15 ± 1.64 104.00 ± 1.41 ornith-35b pp2048 @ d8192 792.75 ± 2.92 12035.29 ± 105.50 11914.60 ± 105.50 12035.29 ± 105.50 ornith-35b tg128 @ d8192 103.90 ± 0.75 105.33 ± 0.47 ornith-35b pp2048 @ d16384 791.20 ± 7.30 21444.59 ± 125.59 21323.90 ± 125.59 21444.59 ± 125.59 ornith-35b tg128 @ d16384 104.99 ± 4.85 107.33 ± 5.31 ornith-35b pp2048 @ d32768 763.53 ± 9.87 41675.67 ± 664.23 41554.98 ± 664.23 41675.67 ± 664.23 ornith-35b tg128 @ d32768 98.68 ± 0.85 101.00 ± 0.82 GGUF模型都可以跑, 其他的幾乎不用玩了. 現在這個容量之下 , 除了Qwen 3.6 27B / 35BA3B好像也沒其他甚麼模型可以用了.
@soop-ladios 谢谢大佬
-
-
