我原本最担心的是外接卡：一张 7900 XTX 通过 M.2 转 OCuLink，链路是 PCIe 4.0 ×4；另一张插主板槽，目前是 PCIe 4.0 ×8。两卡还开不了 P2P。实际跑完以后，OCuLink 这张卡比我预想中好不少。双卡也有提升，主要体现在长 prompt 的 prefill 和专家缓存；生成速度则和单卡比较接近。

机器配置

• 整机：Lenovo Legion T7 34IAS10
• CPU：Intel Core Ultra 7 265K，20 核 20 线程
• 主板：Lenovo 3784 / Z890
• 内存：64GB DDR5-6000 CL36
• 系统：Ubuntu 24.04.4 LTS
• GPU：2 × Radeon RX 7900 XTX 24GB（gfx1100）
• GPU0：开源宇宙 M70 OCuLink 显卡坞，M.2 的 CPU 直连 PCIe 4.0 ×4
• GPU1：主板全长槽，当前协商为 PCIe 4.0 ×8
• Strata H2D probe：GPU0 约 6.2 GB/s，GPU1 约 13.4 GB/s
• 两卡无可用 P2P

主板这里还有个问题没解决：这是 PCIe 5.0 ×16 的物理槽，但插 7900 XTX 后目前协商到 PCIe 4.0 ×8。7900 XTX 本身支持 ×16，我猜可能和 BIOS、lane 分配或 bifurcation 有关，还在慢慢排查。如果有遇到同款机器或类似情况的朋友，也请指点一下。

怎么测的

模型是 Swift-Qwen3.8-Flash-Next IQ3_XXS，131,072 context、int8 KV。正式版用 Strata v0.1.38（commit 99f3dbd），HIP/ROCm 工具链显示 HIP 7.2，gfx1100 stock hipBLASLt tuning。参数保持 expert-cache auto、prefill auto、spec 4、spec-min-p 0.5。

测试部分按 4K、16K、32K、64K、128K 五档各跑三次，表里取中位数。另有一组严格固定为 4,096 / 32,768 / 128,000 token、固定输出 256 token，每项两次；两次样本的中位数也就是两者平均。

每次都是新 prompt，前缀复用为 0。不过专家缓存已经经过前面的测试预热，所以这里不是“冷专家缓存”成绩。decode 还会受生成内容和 MTP 接受率影响，波动比 prefill 大。

五档 speed：OCuLink、主板 ×8 和双卡

下面都是 prefill / decode，单位 token/s；每格为三次中位数。

OCuLink 这张卡在 16K 到 128K 基本都能维持 1,100 t/s 左右的 prefill，decode 大致也是六七十。拿来聊天、写代码、读长文档，我自己的使用感受已经挺顺了。

这组数据并不是严格的 PCIe 控制变量测试。两张卡虽然同型号，但 GPU0 是 303W，GPU1 是 339W，实际频率、散热和显卡体质也可能不同，所以两卡的差距不一定都来自 ×4 和 ×8。这里主要是把 M70 外接卡在我当前配置下的实际表现分享出来。

固定 token 再对一次

这一组 prompt 长度完全相同，比较起来更直观。仍是 prefill / decode，单位 token/s。

短 prompt 的差距最明显：4K 时 OCuLink GPU0 比 GPU1 慢不少。到了 128K，GPU0 是 1,136，GPU1 是 1,242，差距缩到约 9%。对应的 128,000 token 客户端 TTFT 是：GPU0 约 112.8 秒、GPU1 约 103.2 秒、双卡约 60.3 秒。

这也是我觉得 OCuLink 表现不错的主要原因：实测 H2D 带宽大约是主板卡的一半，但读入 128K prompt 时只多等约十秒，比我开始测试前的预期好一些。

双卡的提升在哪

Strata 的双卡不是 tensor parallel，也不做每层 all-reduce。自动切分这次把 48 层分为 GPU0 的 0–24 层和 GPU1 的 25–47 层。每个 verify window 在两段之间做一次 handoff；没有 P2P 时经过 pinned host memory，不走 RCCL/all-reduce。

从结果看，这台没有 P2P 的 AMD 双卡可以正常跑。decode 和单卡比较接近，提升主要出现在较长的 prefill：

• 4K prefill：双卡 1,000，略低于 GPU1 的 1,086。
• 32K prefill：双卡 1,838，对比 GPU1 的 1,327，约快 38%。
• 128K prefill：双卡 2,129，对比 GPU1 的 1,242，约快 71%。
• decode：双卡大致 57–66 t/s，和单卡同一档，有时还略慢。

专家缓存方面，单卡是 10,087 slots / 16,740 MiB，双卡是 22,375 slots / 36,840 MiB。双卡启动后系统内存使用约 50 GiB，除了 48GB 显存，主机内存也需要留出一定余量。

这里也说明一下测试范围：双卡只测了 GPU0,GPU1 + auto split，也就是 OCuLink 卡在前。这次还没跑反向顺序、手动 24/24 或其他不对称切法，因此表里的结果只是当前配置，并不代表这台机器能达到的最高成绩。

WMMA 也跑了

我还拿 RDNA3 WMMA PR #313 跑了同一套测试。下面只列 prefill，格式为 stable v0.1.38 / WMMA PR：

在我这台机器上，两边大部分差距只有几个百分点，WMMA 暂时没有表现出稳定优势；decode 也差不多。4K 这一档里，GPU1 和双卡的 WMMA 成绩还稍低一些。

这也不是严格的同版本 A/B：WMMA 分支基于 Strata 0.1.31，而正式版是 0.1.38，中间已经有其他改动。查了 Git 历史和 GitHub，RDNA3 WMMA 的 PR #313 目前仍是 Open，尚未合并进 v0.1.38。main 里现在能看到的是另一套面向 gfx12/RDNA4 的 WMMA 开关，并非这次 gfx1100 的 PR。

暂时先折腾到这里。现在日常我会用 GPU1 单卡，塞大仓库或长文档时再开双卡。OCuLink 这张卡比我原来预想的好用不少。至于主板那个 PCIe 5.0 ×16 槽为什么最后只协商到 4.0 ×8，我还在查 BIOS；如果有碰到过类似情况的坛友，也请指点一下。