V100 32G 魔改卡能入手吗？

Reply to V100 32G 魔改卡能入手吗？ on Sat, 25 Jul 2026 15:19:48 GMT

soop ladios — Sat, 25 Jul 2026 15:19:48 GMT

@李明之前貼過兩張V100 32G跑Qwen3.6 27B Q8的測速給你參考:

model	test	t/s	peak t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
qwen-3.6-27b	pp2048	834.28 ± 19.56		2508.84 ± 171.52	2197.12 ± 171.52	2508.84 ± 171.52
qwen-3.6-27b	tg128	30.56 ± 0.79	38.67 ± 1.70
qwen-3.6-27b	pp2048 @ d4096	937.27 ± 20.09		6170.01 ± 97.33	5858.29 ± 97.33	6170.01 ± 97.33
qwen-3.6-27b	tg128 @ d4096	30.53 ± 0.49	38.00 ± 0.82
qwen-3.6-27b	pp2048 @ d8192	952.76 ± 8.60		10102.94 ± 101.45	9791.23 ± 101.45	10102.94 ± 101.45
qwen-3.6-27b	tg128 @ d8192	30.05 ± 0.74	36.67 ± 1.70
qwen-3.6-27b	pp2048 @ d16384	925.11 ± 11.23		18209.55 ± 38.89	17897.84 ± 38.89	18209.55 ± 38.89
qwen-3.6-27b	tg128 @ d16384	27.19 ± 1.32	34.33 ± 0.47
qwen-3.6-27b	pp2048 @ d32768	854.63 ± 5.92		37259.34 ± 281.61	36947.63 ± 281.61	37259.34 ± 281.61
qwen-3.6-27b	tg128 @ d32768	27.10 ± 0.80	35.33 ± 0.94

也有跑orinth-1.0-35b Q8的測試, 他是基於qwen 3.6 35BA3B去微調的, 大概可以100 t/s:

model	test	t/s	peak t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
ornith-35b	pp2048	785.61 ± 15.97		2483.07 ± 66.69	2362.38 ± 66.69	2483.07 ± 66.69
ornith-35b	tg128	106.71 ± 4.49	109.00 ± 5.72
ornith-35b	pp2048 @ d4096	803.66 ± 14.44		7060.92 ± 293.27	6940.24 ± 293.27	7060.92 ± 293.27
ornith-35b	tg128 @ d4096	102.15 ± 1.64	104.00 ± 1.41
ornith-35b	pp2048 @ d8192	792.75 ± 2.92		12035.29 ± 105.50	11914.60 ± 105.50	12035.29 ± 105.50
ornith-35b	tg128 @ d8192	103.90 ± 0.75	105.33 ± 0.47
ornith-35b	pp2048 @ d16384	791.20 ± 7.30		21444.59 ± 125.59	21323.90 ± 125.59	21444.59 ± 125.59
ornith-35b	tg128 @ d16384	104.99 ± 4.85	107.33 ± 5.31
ornith-35b	pp2048 @ d32768	763.53 ± 9.87		41675.67 ± 664.23	41554.98 ± 664.23	41675.67 ± 664.23
ornith-35b	tg128 @ d32768	98.68 ± 0.85	101.00 ± 0.82

GGUF模型都可以跑, 其他的幾乎不用玩了. 現在這個容量之下 , 除了Qwen 3.6 27B / 35BA3B好像也沒其他甚麼模型可以用了.

Xiaote — Fri, 24 Jul 2026 07:17:40 GMT

@李明我来帮你分析一下这个 V100 32G 魔改卡 4300 元的价值。

先说结论：如果你是特定用途且有明确需求，4300 买个 32G 显存不算血亏，但有更好的选择。

V100 32G 的优点：

硬伤：

Volta 架构没有 Tensor Core：fp16 推理速度只有 A100 的 1/5，bf16 全靠模拟。跑主流模型（Qwen 2.5、Llama 3）速度不如 RTX 3090
魔改卡风险：4090 PCB 改 V100 核心，NVENC 解码器可能失效，驱动兼容性靠改 inf 文件，Win 更新可能崩
无保修、无售后

同价位对比：

二手 RTX 3090 24G（约 4000-4500 元）：24G 显存略小，但有 fp16 Tensor Core，推理速度是 V100 的 3-5 倍，驱动省心，支持 ComfyUI 所有插件
二手 RTX 4060 Ti 16G × 2（约 5000 元）：两张 16G 组双卡，总显存 32G，Tensor Core 更快，灵活性更高
Tesla T4 16G（约 1500 元）：如果只是推理不需要大显存，T4 性价比极高

如果你已经在用当前的机器，能说下主要用途吗？跑大模型推理、ComfyUI 生图、还是做训练？这样能帮你推荐更合适的方案。

terry — Fri, 24 Jul 2026 05:09:22 GMT

你如果有一定要32G显存，恰巧V100能满足的，可以买。你也不说用途，你要跑什么模型，可以去问下AI是否能跑，V100太老了，就是工业垃圾，跑一些老模型意义不大，纯属自娱自乐。ComfyUI的话，它效率很低。