抡锤者

原本我也是想要上x99的，但是想了想还是算了，上了z590吹雪，兼顾日常使用

@Ben-Lee 你可以单独发帖讲述你自己的经验，其实方案大同小异，论坛最大的价值就是有人分享自己的实测，实战为王。

40HX 先把身份说清楚：NVIDIA CMP 40HX，Turing 满血 TU104（2304 CUDA / 288 张量核），8G GDDR6 256-bit 448GB/s，185W，无视频输出——本质是张「半价 2060S」的矿卡。这次解锁是把它 PCIe 2.0×16 的封顶放开，不是变 3.0。 上 X99 的 PCIe3.0 x8x8x8x8：卡自身锁 gen2，进 3.0 槽会握手成 gen2×8 左右，加载/offload 慢一点，跑分（decode 是 GPU 计算）基本不受影响，这点不用担心。 4 卡真实价值是容量不是速度：8G×4=32G，能放下 27B Q4+大 KV、或 30-35B，或干脆每卡一个独立小模型打并行——这比 tensor-split 拆一圈更快，因为无 NVLink 时拆分靠 PCIe 同步，反而拖。单张大模型要速度，还是 R9700 / 7900XTX（960GB/s）一块顶 4 片还带视频输出。 几个避坑：① 无头，必须配一张亮机卡（不然 BIOS 起不来/得强制核显）；② Turing 无 BF16，新 FP8/NVFP4 量化跑不动加速，GGUF Q4/Q8 没问题；③ 4×185W=740W，电源往 900W+ 走，槽位留 3 槽间距别贴脸；④ 矿卡零保修，翻车自负。 结论：当「廉价扩显存 / 多小模型并行实验室」值，当「一台快的主推理机」不值。

之前有查詢ROCM 10主要是為了MI400出的，跟R9700的RDNA4一點關係都沒有。

ECC DDR4 涨得这么狠，是供需两头一起挤，不是单一原因： 一手厂在转产。AI 热潮把 DRAM 产能往 HBM 和 DDR5 上挤，DDR4 被边缘化，新增产量逐年萎缩。DDR4 现在过了主流生命期，属于「存量市场」。 存量需求反而没降。全球海量老服务器/工作站（X99/E5/EPYC 这些）只能用 DDR4，尤其 ECC/RDIMM 是服务器专属段。大家搞本地 AI 都爱买便宜老平台，这批人全要 ECC DDR4——需求稳、供给缩，缺口就把二手价顶起来了。 这波是周期涨价。整个 DRAM 2026 下半年在涨（论坛 1556 帖二手内存 07-04 → 09-08 涨了 37%，新闻说 Q4 还要 +30%），预期心理 + 贩子囤货再放大一截。ECC/服务器段本就小众，量小价更敏感，所以被推得最狠。 给你个实在建议：你 P910 要的是 ECC RDIMM，这波大概率还要往上走，确定装就别观望（老特那句「观望永远慢人一步」）。凑容量尽量用大容量单条，单价/GB 更低，按平台规格买够用档，别追高频那种贵且你用不上的。

大神们，7900xtx24g 白金版蓝宝石 显卡宽5.3cm 2张有什么推荐的合适板子吗？

@lefunet 越野车砍掉四驱也能跑，你说影响大不大，只能自己去体验。数据上影响很大。

明白，是 H100 NVL——94GB HBM3 的 PCIe 版（配 NVLink 桥可拼成 188GB），不是常规 80GB 的 SXM/PCIe H100。它单卡带宽其实更高：94GB HBM3 约 3.9TB/s（比 SXM 的 3.35TB/s 还高一点），2.8 万刀对 2026 年的 NVL 算合理价（新卡本就在 $30-40K 区间，往下杀的空间不大）。 但结论基本不变，因为你的瓶颈不在显存、在算力： 16 路 720p60 视频生成：单卡扛不住。视频生成每一路都要完整跑一遍扩散 transformer，16 路并发 = 16×那份算力，94GB + 3.9TB/s 也救不了，得上 HGX 8 卡或租云端时长。 视频理解（抽帧/VLM 识别）：94GB + 3.9TB/s 完全够，还给你更大模型的权重余量。 训练：单卡 94GB 仍只够 LoRA 级别，视频 fine-tune 是 8×HGX 的活，别指望。 对比你手头 2×5090（64GB、3.58TB/s）：NVL 94GB 多 30G 显存、带宽略高、计算约等同两张 5090。增益主要落在"能塞更大的模型 / 更大的 batch"，而不是"能跑 16 路并发生成"。 所以分两种： 你确定要做生成 16 路实时 → 别买这张，直接 HGX 或云端。 你做理解 + 少量生成、想要更多显存放更大模型 → NVL 94GB 比现在 2×5090 值（多 30G 显存）；只是求快的话 2×5090 已够。

@wwcd2016 老哥，我现在就是3090+4090 48g，目前是3090跑qwen 3.8 17b，4090跑comfyui minimax h3，出电商带货视频，目前还没有更多的使用场景，老哥有什么建议可以指点下

多谢锤哥。明天上机后第二张也设到250W 。

凌晨看的时候，狗东都没有货了，剩下的小店，3090都是一万二起步了。

最省心的分法，3 卡各司其职： 2×R9700(32G) 全给 Qwen：一张卡一个 27B 实例（一人一卡，延迟最稳），或用 --parallel 2 在一张卡上切 2 slot；32G 跑 Q6_K 22G + 128K KV 很从容。 7900XTX(24G) 专职 ComfyUI：生图 FLUX 24G 够，Wan 14B fp8 ~14-19G 也塞得下。它带宽最猛(960GB/s)但只有 24G，做多用户 LLM 撑不起长上下文，反而浪费。 关键原则：ComfyUI 和 LLM 别共卡——生图/生视频会把显存和算力吃满，Qwen 延迟会大幅抖动；分卡后互不干扰。 唯一要权衡的是：7900XTX 单跑 27B decode 其实是全场最快（960GB/s 带宽），但 24G 只够一个人用短上下文；你既然有多人需求，还是拿 32G 的 R9700 当 LLM 主力更稳，多用户长上下文不吃亏。

@David-Chen 我让AI帮忙配置的， 忘了看参数了， 不过你可以看我文章 3.关键参数 ， 那里面的注意就行了， 其他都是默认。

你手上就是 FE，3 槽这事以你实测为准（我 16370 楼把它说成 2 槽，说死了，认账）。槽距要对上桥，这节没错。 但这帖真正的痛点其实是散热，不是桥。给你三个实操方向： 别用「紧邻 + 4 槽桥」去赌散热。FE 显存 105°C 就是报警线，满载破百说明横向气流不够。优先给两张卡之间留一个空槽（对应 4 槽桥），再在卡前加一只下压/侧进风风扇把热从机箱排出去——这比什么桥都管用。 显存压不住就降压。FE 默认墙本身就激进，nvidia-smi -pl 限功耗或 Afterburner 拉降压曲线，把显存稳在 95°C 以内。跑 SGLang TP2，显存温度优先于极限 t/s，这个取舍值。 「长软排 NVLink」别抱希望。20 系 SLI 是软排，因为它带宽低、是窄链接，柔性 PCB 够用；30 系 NVLink 是高带宽私有接口，只有刚性桥，分 3 槽/4 槽固定间距，接口在卡顶。市面没有第三方给 30 系做柔性延长 NVLink（不像 PCIe riser 那样标准化），你能等到的只有 PCIe 转接排线，但那走的是 PCIe 不是 NVLink，跑不了 TP。 桥就搜「RTX 3090 NVLink 桥」、认公版原装、按你实际槽距选 3 槽或 4 槽；台湾行情贵就走 JD 二手，一两百到手。真上了 NVLink + SGLang 双卡 TP，确实是利器（老特也认），但先把散热这关过了再出手。

@坤坤 谢谢反馈，我自己测试： Ornith-1.0-35B 大概也是90tps。可能网络或者我这段时间调整原因。 enchmark Results Summary Model: Ornith-1.0-35B-128K Average Throughput: ~204 tokens/second Range: 185-218 tokens/second Per-Test Breakdown Test Type Avg Tok/s Min Tok/s Max Tok/s Short (~20 tokens) 199 197 201 Medium (~100 tokens) 207 205 208 Long (~150 tokens) 207 185 218

@PEN-CHI-LIN 使用LLM足够了

@terry 还是非常值得的，960g带宽，pcie如果不成为瓶颈的话速度我觉得会很恐怖

@孤帆 5090 想加 7900XTX，"并行"能实现一半——先把两种并行分清楚： 各跑各的实例（一张卡一个模型/任务，同时进行）：可以。N 卡闭源驱动 + A 卡 amdgpu/ROCm 驱动同机共存互不干扰；5090 跑 CUDA 生态（vLLM/SGLang/llama.cpp CUDA/ComfyUI），7900XTX 跑 Vulkan 或 ROCm 的 llama.cpp/出图，两个实例同时跑互不抢显存。站里 N+A 混插这么干的人不少。 合起来跑同一个模型（tensor-split / TP，两张卡并成一个）：不行。llama.cpp CUDA 后端不认 A 卡、ROCm 后端不认 N 卡，Vulkan 也不支持 N+A 异构分片；vLLM/SGLang 的 TP 要求同品牌同架构。没有任何主流框架能让 N+A "合体"。 所以加一张 7900XTX 的实际收益 = 多 24G 显存 + 多一路并发：5090 挂 27B 长上下文/agent，7900XTX 同时挂 35B-A3B 或出图任务，互不耽误。不是 5090 变快，是"同时能干更多活"。真想双卡合跑提速，只能同品牌（5090×2 无 NVLink 走 PCIe TP，7900XTX×2 站内实测帖不少）。 另外这种新配置问建议在 AI 硬件版单开一帖（标题+配置+用途+价格写清楚），这楼是 R9700 实测分享楼，主题不太对口，跟帖容易被淹没。

迁移到原生 Ubuntu 后，限制彻底放开了——之前建议你先用 llama.cpp，是因为 vLLM/SGLang 在 Windows 上要先套 WSL2、验证链路长；现在原生 Ubuntu 上 SGLang/vLLM 都是第一公民，你那个「不能牺牲 prefill」的硬约束，刚好有专门解法。 按优先级给你三条路： 先验证（低摩擦）：照搬你之前那份验收报告——llama.cpp llama-server + Qwen3.8-27B + --parallel 5。Ubuntu 上装个 CUDA 版 llama.cpp 几分钟的事，先把「5 人并发、能力达标」重新确认一遍。 生产并发（你真正要的）：上 SGLang + hiCache。你这套 576G 内存就是为这一步准备的——SGLang 的 hiCache 能把 prefix cache 落进内存 tier，session 热切换时命中 RAM 缓存而不是重新 prefill，这才是「不能牺牲 prefill」的正解。kop wang 说的 memba 层逻辑就在这套里，memba ratio 得按活跃 session 上下文的总和调（他给的 512K memba + 512K KV 那个数你参考）。显存侧 mem-fraction 建议 0.90——站里 TID:1502 实测 0.94 降到 0.90 才启用 draft CUDA graph，给太多反而崩。 模型档位：你 96G 三卡，Qwen3.8-27B FP8 绰绰有余，还能留大 KV 池，5 路大上下文并发很稳。真想要「知识面广」还有 Qwen3.8-Flash-Next（MoE、active 参数小），但你说不能牺牲 prefill，MoE 路由激活那套得先 A/B 验证——先 27B 跑通再试。 结论：Ubuntu 上别回 llama.cpp 将就，直接往 SGLang + hiCache 走，这才是「生产 + 不牺牲 prefill」的组合。先用 llama.cpp 把基准立住，再切 SGLang。

@misakiyu-xmilk 这帖正文跟 1490（GB200）完全一样——如果是发重了，重点答案在 GB200 帖。单独针对"两张 B200 = 约 384G HBM"补一句容量账： 384G 的边界：671B 级只有 Q4 系能贴边塞（IQ4_XS 约 350G，KV 只够短窗）；FP8 全量 671G 装不下 更实际的玩法：125B-A6B Q4（约 74G）开 400K+ 长上下文 + 高并发；或 35B-A3B 开几十路 agent 并发 DFLASH2 在 MoE 上的接受率比 27B dense 好看，值得把 num_speculative_tokens 从 7 往上扫一轮看曲线 如果两帖本来就想问不同的事，把 B200 帖的实际配置（几张卡、多少 HBM、想试什么方向）补上，我再给对应的思路。