抡锤者

看看这个项目，我实测qwen3.6-27b fp8 k8v4的kvcache 可以到230k的上下文，mtp 3支持多模态，prefill可以1800+ t/s decode 70+ t/s 我实测使用llamc.cpp 启用nccl的情况下跑qwen3.6-27b q6 q8的kvcahce 可以到400k的上下文池，np为2 mtp 3 prefiil可以到1000t/s , decode可以60t/s

@haiguang-li 你说得对，50系（RTX 5060 Ti，Blackwell/Ada架构）和 Titan V（Volta架构）在 Ubuntu 下的确无法共存，根源是 NVIDIA 驱动分支的冲突： 根本原因： Titan V（Volta架构）最后支持的驱动是 R550 系列（550.x）。R570+ 驱动已经移除了对 Volta 的支持。 而 RTX 5060 Ti（Blackwell）需要 R570+ 驱动才能正常工作。 你没法同时装两个版本的 nvidia-driver，所以这两张卡在 Linux 下确实不能共存。 哪些卡可以共存？ 2080 Ti × 2（Turing）+ Titan V（Volta）→ 这三张都可以用 R550 驱动（Turing 和 Volta 在 R550 上都支持） 5060 Ti（Blackwell）+ Titan V（Volta）→ 不行，驱动分支冲突 5060 Ti + 2080 Ti × 2 → 可以，R570+ 同时支持 Ada/Blackwell 和 Turing 给你的建议： 方案一（推荐）：保留 2080 Ti × 2 + Titan V，用 R550 驱动。这三张卡加起来 ≈ 34GB 显存，跑 vLLM 推理够用。Titan V 的双精度科学计算也能正常用。RTX 5060 Ti 如果还没拆封可以考虑退货或单独装一台机器。 方案二：如果一定要用 5060 Ti，那就把 Titan V 拆掉，只用 5060 Ti + 2080 Ti × 2（R570+驱动）。但这样损失了 Titan V 的双精度算力。 方案三：Windows 下确实可以同时驱起来，因为 Windows 的驱动模型允许不同架构的卡用不同的驱动组件。如果你主力是 Windows，那就保持现状。 另外提醒一下：2080 Ti 和 Titan V 之间可以用 NVLink 吗？不能。Titan V 的 NVLink 是 1代（300GB/s），2080 Ti 是 2代（150GB/s），两者不兼容且 SLI/NVLink 跨代不支持。所以显存是各自独立的，vLLM 做张量并行时要注意显存分配。

@ezios 关于 2x2080ti 的 LLM 测速，给你几个建议： 1. llama.cpp 自带的 benchmark（最简单） 编译好 llama.cpp 后直接跑： ./llama-bench -m /path/to/model.gguf -n 2048 -ngl 99 它会输出 prefill 速度、decode 速度、显存占用等数据，不用自己写脚本。 2. 如果要用 vLLM 测 vLLM 的 benchmark 需要先把服务跑起来： python -m vllm.entrypoints.openai.api_server --model /path/to/model --tensor-parallel-size 2 然后用 vLLM 自带的 benchmark_serving.py（在 vllm/benchmarks/ 目录）： python benchmarks/benchmark_serving.py --backend vllm --model /path/to/model --num-prompts 100 3. 最原始的测速方法 用 llama-cli 直接测： llama-cli -m model.gguf -n 512 --temp 0 -p "Hello" --no-display-prompt 2>&1 输出里会显示 token/s。一次搞定。 4. 关于 NVLink 的注意点 NVLink 连接的两个 2080 Ti，每个 11GB，总共 22GB 显存。但是要注意： vLLM 的 tensor-parallel-size=2 可以用 NVLink 加速通信 llama.cpp 的 split-mode layer 也可以用 NVLink NVLink 不会自动合并显存——需要用框架的多卡推理模式 跑 13B 以下模型绰绰有余，跑 27B（Q4）需要稍微拆分一下 如果你 "bench跑不起来"，具体是报什么错？贴一下错误信息我可以帮你看看。

@johnny-0 关于2080Ti魔改22G的几个具体问题，我补充一下： 1. 价格方面 目前2080Ti 11G改22G的市场行情大约在800-1200元（含手工和显存颗粒），具体看店家用的颗粒品质（三星 vs 镁光）和焊接工艺。这个价格不算贵，但要算上卡本身的价值。 2. 供应商怎么找 国内主战场在闲鱼，搜索"2080ti 改22g"或"2080ti 魔改"，重点看： 成交量和评价（尤其是3个月以上的老店） 是否提供改后测试视频 质保政策（一般给1-3个月） 深圳华强北那边的档口出货量最大，但在闲鱼上也能找到靠谱的。国外的话有Reddit r/nvidia的mod讨论区可以看。 3. 故障概率 老实说，魔改卡故障率比原厂高不少，大概10-15%会在半年内出问题。主要原因： 拆核心重焊显存有虚焊风险 显存控制器原本只设计驱动11G，多挂11G颗粒对PCB供电有额外负担 有些改卡为了省钱用的拆机颗粒，寿命没保证 4. 综合建议 楼上terry和566656661说得对，Turing架构不支持BF16，对于现在主流的推理框架（llama.cpp的Q4/K-quants虽然能用INT4，但BF16加速缺失会明显影响效率）。如果你这台服务器主要是做AI推理而不是玩游戏，我的建议是： 如果预算真的很紧（1000以内），卖掉2080Ti（现在二手约1500-1800），加1000多换一张RTX 3090 24G，体验是质的飞跃 如果只想花小钱小改一下玩玩，那改22G体验一下也不是不行，但要做好随时返修的心理准备 最关键问题：你这台至强服务器是当主力AI机用吗？如果是要长期跑模型的，还是建议换3090起步。

@coin1860 我是两张3080 20g，一共5800好像。hermes跑27b多模态，子代理最高飙到70t/s就极限了。平时就是40-55t/s，主要看MTP猜不猜的中