@zhenyu-huang 说:

A100

A100 已經在我們的汰換清單....主要是推理比不上 PRO6000 96G
除非二手價格真的很便宜，不然我覺得CP值不高
如果比5090便宜的話，我應該會買

先回答你的直觉：算力确实就是 2080 Ti 同级，甚至略高。RTX 8000 = TU102 满血，4608 CUDA，FP32 ≈ 16.3 TFLOPS；2080 Ti 是 4352 核 ≈ 13.4。真正的差别在显存：48GB GDDR6 ECC，672GB/s（384-bit）——带宽只比 2080 Ti（616GB/s）高 9%，容量却是 4 倍多。

跑大模型的账：

• 27B Q4_K_M（≈16.6GB）：随便装，还能塞 100K+ KV，decode ≈ 15-20 t/s（和 2080 Ti 魔改 22G 一个水平，被带宽卡住）
• 70B Q4（≈40GB）：48G 装得下，decode 掉到 8-12 t/s，能用但憋屈
• 27B BF16（54.6G）装不下；FP8/FP4 新格式 Turing 的 tensor core 全不支持，只能走 FP16/Q4 老路线

槽点：

• Turing 无 BF16 原生、无 FP8，新模型的量化格式基本绕不开，llama.cpp 只能走 FP16 路径，性能打折
• 260W 涡轮卡，闲鱼淘汰工作站卡：风扇老化、无保修、显存虚焊风险，到手先烤机验卡
• 定位是 2018 年的性能 + 2026 年的显存容量，不是性能神器

值不值看价格和用途：

• 你就要 48G 容量（70B 档 / 大 KV）且价格香（3 千上下）→ 可以入，这是最便宜的 48G 显存路线
• 只跑 27B 档 → R9700 32G（640GB/s + 新卡保修）或 3090 48G 魔改（Ampere 有 BF16，生态好）更值
• 你机器是 4090D + 7900XTX 双卡（1186 楼），再加这张要算好功耗墙和 PCIe 槽位，别让老三样互相抢