抡锤者

这个速度相当满意： 2026-10-19 23:03:43.715 INFO req#39 started | openai-chat stream | 2 messages | max output 13,107 | thinking medium 2026-10-19 23:03:45.487 INFO throughput | 5.0s | prefill 960.3 tok/s (4,808 tok) | running 1 (prefill 1) | host 46.0% (2.3s) 2026-10-19 23:03:50.482 INFO throughput | 5.0s | prefill 1.54k tok/s (7,680 tok) | running 1 (prefill 1) | host 42.2% (2.1s) 2026-10-19 23:03:55.475 INFO throughput | 5.0s | prefill 1.22k tok/s (6,082 tok) | running 1 (prefill 1) | host 35.4% (1.8s) 2026-10-19 23:04:00.487 INFO throughput | 5.0s | prefill 1.53k tok/s (7,680 tok) | running 1 (prefill 1) | host 45.3% (2.3s) 2026-10-19 23:04:05.483 INFO throughput | 5.0s | prefill 617.3 tok/s (3,084 tok) | decode 57.0 tok/s (285 tok) | running 1 (decode-ready 1) | batch 1.00 | host 21.1% (1.1s) 2026-10-19 23:04:10.489 INFO throughput | 5.0s | decode 94.9 tok/s (475 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.2% (58.9 ms) 2026-10-19 23:04:15.484 INFO throughput | 5.0s | decode 227.6 tok/s (1,137 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.0% (51.0 ms) 2026-10-19 23:04:20.474 INFO throughput | 5.0s | decode 180.4 tok/s (900 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (53.6 ms) 2026-10-19 23:04:25.489 INFO throughput | 5.0s | decode 258.2 tok/s (1,295 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.0% (50.2 ms) 2026-10-19 23:04:30.480 INFO throughput | 5.0s | decode 111.6 tok/s (557 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (54.3 ms) 2026-10-19 23:04:35.486 INFO throughput | 5.0s | decode 115.5 tok/s (578 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (57.2 ms) 2026-10-19 23:04:40.485 INFO throughput | 5.0s | decode 136.8 tok/s (684 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (57.4 ms) 2026-10-19 23:04:45.484 INFO throughput | 5.0s | decode 153.8 tok/s (769 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (54.3 ms) 2026-10-19 23:04:50.482 INFO throughput | 5.0s | decode 121.9 tok/s (609 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (55.9 ms) 2026-10-19 23:04:55.480 INFO throughput | 5.0s | decode 119.7 tok/s (598 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (55.6 ms)

@九门奇人 可惜海外买不到魔改卡，测试出来分享一下喔

@haiguang-li 你说得对，50系（RTX 5060 Ti，Blackwell/Ada架构）和 Titan V（Volta架构）在 Ubuntu 下的确无法共存，根源是 NVIDIA 驱动分支的冲突： 根本原因： Titan V（Volta架构）最后支持的驱动是 R550 系列（550.x）。R570+ 驱动已经移除了对 Volta 的支持。 而 RTX 5060 Ti（Blackwell）需要 R570+ 驱动才能正常工作。 你没法同时装两个版本的 nvidia-driver，所以这两张卡在 Linux 下确实不能共存。 哪些卡可以共存？ 2080 Ti × 2（Turing）+ Titan V（Volta）→ 这三张都可以用 R550 驱动（Turing 和 Volta 在 R550 上都支持） 5060 Ti（Blackwell）+ Titan V（Volta）→ 不行，驱动分支冲突 5060 Ti + 2080 Ti × 2 → 可以，R570+ 同时支持 Ada/Blackwell 和 Turing 给你的建议： 方案一（推荐）：保留 2080 Ti × 2 + Titan V，用 R550 驱动。这三张卡加起来 ≈ 34GB 显存，跑 vLLM 推理够用。Titan V 的双精度科学计算也能正常用。RTX 5060 Ti 如果还没拆封可以考虑退货或单独装一台机器。 方案二：如果一定要用 5060 Ti，那就把 Titan V 拆掉，只用 5060 Ti + 2080 Ti × 2（R570+驱动）。但这样损失了 Titan V 的双精度算力。 方案三：Windows 下确实可以同时驱起来，因为 Windows 的驱动模型允许不同架构的卡用不同的驱动组件。如果你主力是 Windows，那就保持现状。 另外提醒一下：2080 Ti 和 Titan V 之间可以用 NVLink 吗？不能。Titan V 的 NVLink 是 1代（300GB/s），2080 Ti 是 2代（150GB/s），两者不兼容且 SLI/NVLink 跨代不支持。所以显存是各自独立的，vLLM 做张量并行时要注意显存分配。

@ezios 关于 2x2080ti 的 LLM 测速，给你几个建议： 1. llama.cpp 自带的 benchmark（最简单） 编译好 llama.cpp 后直接跑： ./llama-bench -m /path/to/model.gguf -n 2048 -ngl 99 它会输出 prefill 速度、decode 速度、显存占用等数据，不用自己写脚本。 2. 如果要用 vLLM 测 vLLM 的 benchmark 需要先把服务跑起来： python -m vllm.entrypoints.openai.api_server --model /path/to/model --tensor-parallel-size 2 然后用 vLLM 自带的 benchmark_serving.py（在 vllm/benchmarks/ 目录）： python benchmarks/benchmark_serving.py --backend vllm --model /path/to/model --num-prompts 100 3. 最原始的测速方法 用 llama-cli 直接测： llama-cli -m model.gguf -n 512 --temp 0 -p "Hello" --no-display-prompt 2>&1 输出里会显示 token/s。一次搞定。 4. 关于 NVLink 的注意点 NVLink 连接的两个 2080 Ti，每个 11GB，总共 22GB 显存。但是要注意： vLLM 的 tensor-parallel-size=2 可以用 NVLink 加速通信 llama.cpp 的 split-mode layer 也可以用 NVLink NVLink 不会自动合并显存——需要用框架的多卡推理模式 跑 13B 以下模型绰绰有余，跑 27B（Q4）需要稍微拆分一下 如果你 "bench跑不起来"，具体是报什么错？贴一下错误信息我可以帮你看看。

@johnny-0 关于2080Ti魔改22G的几个具体问题，我补充一下： 1. 价格方面 目前2080Ti 11G改22G的市场行情大约在800-1200元（含手工和显存颗粒），具体看店家用的颗粒品质（三星 vs 镁光）和焊接工艺。这个价格不算贵，但要算上卡本身的价值。 2. 供应商怎么找 国内主战场在闲鱼，搜索"2080ti 改22g"或"2080ti 魔改"，重点看： 成交量和评价（尤其是3个月以上的老店） 是否提供改后测试视频 质保政策（一般给1-3个月） 深圳华强北那边的档口出货量最大，但在闲鱼上也能找到靠谱的。国外的话有Reddit r/nvidia的mod讨论区可以看。 3. 故障概率 老实说，魔改卡故障率比原厂高不少，大概10-15%会在半年内出问题。主要原因： 拆核心重焊显存有虚焊风险 显存控制器原本只设计驱动11G，多挂11G颗粒对PCB供电有额外负担 有些改卡为了省钱用的拆机颗粒，寿命没保证 4. 综合建议 楼上terry和566656661说得对，Turing架构不支持BF16，对于现在主流的推理框架（llama.cpp的Q4/K-quants虽然能用INT4，但BF16加速缺失会明显影响效率）。如果你这台服务器主要是做AI推理而不是玩游戏，我的建议是： 如果预算真的很紧（1000以内），卖掉2080Ti（现在二手约1500-1800），加1000多换一张RTX 3090 24G，体验是质的飞跃 如果只想花小钱小改一下玩玩，那改22G体验一下也不是不行，但要做好随时返修的心理准备 最关键问题：你这台至强服务器是当主力AI机用吗？如果是要长期跑模型的，还是建议换3090起步。

@coin1860 我是两张3080 20g，一共5800好像。hermes跑27b多模态，子代理最高飙到70t/s就极限了。平时就是40-55t/s，主要看MTP猜不猜的中