Strata 单卡与异构双卡性能对比：RX 7900 XT 20GB vs RX 7900 XT + RX 6800 XT

原帖：https://lcz.me/topic/2340
测试对象：RX 7900 XT 20GB 单卡 vs RX 7900 XT 20GB + RX 6800 XT 16GB 异构双卡
核心方案：Strata Helper Expert Cache（辅助专家缓存）

1. 测试说明

本次测试对比两种配置在 Strata MoE 模型推理中的表现，重点关注解码速度、专家显存命中率、长上下文性能、Prefill 吞吐和功耗。

1.1 单卡配置

• 主显卡：AMD Radeon RX 7900 XT，20GB VRAM
• GPU 数量：1
• 专家缓存：主要由单卡显存承载，部分专家权重可能需要从主机内存读取

1.2 异构双卡配置

• 主显卡：AMD Radeon RX 7900 XT，20GB VRAM
• 辅助显卡：AMD Radeon RX 6800 XT，16GB VRAM
• GPU 数量：2
• 工作模式：RX 7900 XT 负责主要模型计算，RX 6800 XT 辅助缓存 MoE 稀疏专家权重

2. 核心性能对比

注：tok/s 表示每秒生成的 Token 数量。不同上下文长度、生成长度及缓存状态会影响测试结果。

3. 详细测试结果

3.1 短提示词高熵生成

测试条件：Short Prompt Decoding，最大生成长度 300 Tokens。

双卡配置下，RX 6800 XT 辅助承载稀疏专家权重，减少了解码期间从主机内存调入专家权重的需求。原帖报告的专家显存命中率从 90.1% 提高至 97.6%。

3.2 不同上下文长度下的解码速度

补充测试信息：

• 8K 梯度对应约 12.8K Tokens。
• 32K 梯度对应约 50.8K Tokens。
• 48K 梯度对应约 76.9K Tokens。
• 80K–128K 超长梯度对应约 127.7K Tokens。
• 48K 场景下，双卡最高单次测得 81.0 tok/s。

结论： 双卡优势并不会随着上下文增加而线性扩大。8K 和 48K 场景收益较明显，而 80K–128K 场景基本持平，甚至略有下降。

3.3 多轮对话性能

两种配置的前缀缓存复用率相同，但双卡缓存复用耗时更长，次轮解码速度却有显著提升。这表明前缀缓存复用率并不能完全决定生成速度，专家权重在 GPU 显存中的驻留情况同样重要。

4. Prefill 性能与架构权衡

4.1 冷 Prefill 吞吐

Prefill 是模型读取并处理输入提示词、建立上下文状态的阶段。

原帖认为，双卡模式冷 Prefill 性能下降，主要与 PCIe 3.0 环境下的辅助专家调度、状态同步及通信开销有关。

4.2 为什么解码变快，Prefill 却变慢？

1. 主卡承担主要计算任务： RX 7900 XT 负责主要模型计算、Prefill 阶段的矩阵运算以及 KV 缓存调度。
2. 辅卡承载稀疏专家权重： RX 6800 XT 为更多专家权重提供显存空间，减少从主机内存调入权重的需要。
3. 双卡增加通信开销： 专家调度和状态同步带来额外的 PCIe 通信成本。
4. 解码收益与 Prefill 代价并存： 连续 Token 生成可能更快，但长提示词首次处理时，通信开销可能抵消部分收益。

因此，这种方案更适合重视连续生成速度的对话和代码生成场景；若主要瓶颈是长提示词首次处理，单卡可能更有优势。

5. 显存使用情况

原帖记录的双卡显存占用如下：

原帖将其描述为约 32.7 GB 的有效可用显存。

技术说明： 32.7 GB 是两张卡报告的显存占用之和，不代表两张显卡的显存被硬件层面合并成一块连续、统一寻址的显存池。实际可用容量取决于模型权重放置方式、缓存策略、显存碎片及运行时开销。

6. 双卡推理功耗测试

6.1 实测高负载推理功耗

原帖使用底层硬件传感器（hwmon）进行高频采样，采样间隔约为 80 ms。

原帖报告的双卡实际推理峰值约为 354 W，平均工作功耗约 250 W。

需要注意，80 ms 采样可能无法捕获更短暂的功耗尖峰。因此，354 W 是该测试监测条件下记录到的峰值，不代表整机绝对最大功耗。

6.2 功耗限制与理论上限

数据来源：原帖读取的 Linux 内核接口 /sys/class/drm/card*/device/hwmon/。

注意： 功耗墙上限是硬件和固件允许的功耗限制，不是实际推理功耗。电源选型还应考虑 CPU、主板、其他设备、显卡瞬时功耗尖峰及供电线连接方式。

6.3 功耗结论

• 主卡承担绝大部分推理功耗。
• 辅卡增加 16GB 显存容量，但在辅助专家缓存模式下，原帖测得其平均推理功耗约为 20 W。
• 双卡实测推理峰值约 354 W，低于两卡当前功耗限制之和。
• 原帖作者认为，其使用的 Corsair RM850e 850 W 电源余量充足。

以上结论仅反映原帖测试环境，不能直接替代整机功耗测量。

7. 综合结论

7.1 双卡方案的主要优势

1. 提高专家显存命中率： 从 90.1% 提高至 97.6%，单次峰值达到 98%。
2. 提高短提示词解码速度： 中位数从 47.40 tok/s 提高至 54.50 tok/s，提升约 15%。
3. 改善部分上下文长度下的生成速度： 8K 场景提升约 46%，48K 场景提升约 16%。
4. 提升多轮对话次轮解码速度： 从 52.0 tok/s 提高至 78.1 tok/s，提升约 50%。
5. 降低对主机内存读取专家权重的依赖： 辅助显卡为更多稀疏专家权重提供显存空间。

7.2 双卡方案的主要代价

1. 冷 Prefill 吞吐下降约 31%。
2. PCIe 通信、专家调度及状态同步带来额外开销。
3. 在 80K–128K 超长上下文测试中，双卡没有体现明显的解码速度优势。
4. 双卡需要额外的插槽、散热空间、供电和驱动配置。

7.3 适用场景

8. 复现测试的注意事项

以上结果属于特定 Strata 环境下的实测数据，不应直接推广到所有模型或所有双卡方案。

复现实验时，建议记录：

• Strata 版本与模型版本。
• 模型量化格式及专家权重缓存策略。
• 两张显卡的 PCIe 链路宽度与实际协商速率。
• 上下文长度、输入 Token 数与生成 Token 数。
• Prefill 与 Decode 的分项速度。
• 专家显存命中率、主机内存占用及 GPU 显存占用。
• 驱动版本、功耗限制与温度。
• 多次重复测试的中位数和波动范围。

只有在模型、测试脚本、缓存状态和测试条件基本一致时，单卡与双卡的结果才具有较好的可比性。

9. 关键数据速查

最终结论： 在这组 Strata 测试中，RX 6800 XT 作为辅助专家缓存卡，主要价值是让更多 MoE 专家权重驻留在 GPU 显存中，从而改善连续解码速度；代价是冷 Prefill 变慢以及额外的双卡通信开销。双卡并非在所有上下文长度和推理阶段都更快。

一、实测高负载推理功耗（80ms 高频动态采样）
在执行实际的长文本 Prefill 预填充与连续 Token 生成时，双卡的实测功耗表现：

显卡角色与型号 待机功耗 推理平均功耗 实测峰值功耗 (Peak) 负载特征
主卡 GPU 0 (RX 7900 XT 20G) ~15 W ~228.6 W 328.0 W 承担 Dense 骨干层、Prefill 密集 GEMM 与 KV 调度，算力打满
辅卡 GPU 1 (RX 6800 XT 16G) ~8 W ~20.0 W 69.0 W 仅承担 MoE 稀疏专家的分布式权重计算，轻负载运行
双卡瞬间合计 ~23.0 W ~248.5 W 354.0 W 实际大模型推理时的双卡瞬间最大功耗
二、硬件固件与驱动功耗墙（Power Limit 理论上限）
系统内核驱动接口（/sys/class/drm/card*/device/hwmon/）中两张卡的电源限制参数：

显卡型号 当前生效功耗墙 (power1_cap) 默认功耗限制 (default) BIOS 允许最大可调上限 (max)
RX 7900 XT 290 W 290 W 333 W
RX 6800 XT 239 W 255 W 293 W
双卡理论上限总和 529 W 545 W 626 W
三、总结
实际业务峰值：在跑大模型推理时，双卡合计最大瞬时功耗约为 354 W（平均工作功耗仅 ~250 W 左右）；
辅卡功耗极省：作为 Helper Expert Cache（辅助专家缓存），RX 6800 XT 提供 15 GB 显存但自身功耗峰值仅 69 W，绝大部分功耗集中在负责主干运算的 RX 7900 XT 上；
供电余量充足：整机即便双卡同时遇到极短瞬间脉冲，最大功耗也不会突破 530 W 的当前系统安全限制。