strata单卡（RX 7900 XT 20GB）与异构双卡（RX 7900 XT 20GB + RX 6800 XT 16GB 辅助专家缓存）性能对比，异构也可以大幅提升使用体验

xiaoxiang nan

基于此前相同的评测规范与基准测试脚本（/home/snow/run_full_benchmark.py），对单卡（RX 7900 XT 20GB）与异构双卡（RX 7900 XT 20GB + RX 6800 XT 16GB 辅助专家缓存）完成了一整轮严格对齐的基准测试，详细实测数据对比报告如下：

一、核心对比总览表
测试场景 / 指标单卡配置 (7900 XT 20GB) 双卡协同 (7900 XT + 6800 XT) 变化幅度 / 影响分析
短提示词解码速度 47.40 tok/s [42.7, 47.4, 50.2] 54.50 tok/s [51.9, 55.6, 54.5] +14.98% (稳固冲上 55 tok/s)
短提示词专家显存命中率 90.1% 97.6% (单次峰值达 98.0%) +7.5% (几乎完全告别主机内存回落)
8k 上下文解码速度 50.3 tok/s 73.6 tok/s [67.5, 73.6, 79.2] +46.32% (爆发式增长)
32k 上下文解码速度 66.4 tok/s 71.2 tok/s [71.2, 69.9, 79.1] +7.23%
48k 上下文解码速度 67.0 tok/s 77.8 tok/s [77.8, 74.1, 81.0] +16.12% (峰值达 81.0 tok/s)
80k~128k 上下文解码速度 71.2 tok/s 69.6 tok/s [67.6, 69.6, 72.9] ️ -2.25% (基本持平)
多轮对话次轮解码速度 52.0 tok/s 78.1 tok/s +50.19% (极速生成)
长文本冷 Prefill 吞吐 ~1,210 tok/s ~835 tok/s -31.0% (PCIe 双卡同步协议开销)
多轮会话前缀缓存重用 98.06% 重用 (880 ms) 98.06% 重用 (1,338 ms) 保持极高缓存复用率
二、详细场景实测数据拆解

短提示词高熵生成（Short Prompt Decoding, 300 Max Tokens）
单卡实测：[42.7, 47.4, 50.2] tok/s，中位数 47.40 tok/s；专家缓存命中率 90.1%；
双卡实测：[51.9, 55.6, 54.5] tok/s，中位数 54.50 tok/s；专家缓存命中率 97.6%（峰值 98.0%）；
收益机制：副卡（RX 6800 XT）成功接纳了 15.1 GB 的稀疏专家权重，两卡合并后 98% 的专家被牢牢锁定在 GPU 物理显存中，极大减少了解码阶段通过 PCIe 3.0 总线向主机系统内存取权重的停顿。
长上下文解码梯度（Context Gradient Decoding）
8k 梯度 (~12.8k Tokens)：
解码速度从单卡 50.3 tok/s 跃升至 73.6 tok/s（提速 +46.3%）；
32k 梯度 (~50.8k Tokens)：
解码速度从单卡 66.4 tok/s 提升至 71.2 tok/s（提速 +7.2%）；
48k 梯度 (~76.9k Tokens)：
解码速度从单卡 67.0 tok/s 攀升至 77.8 tok/s（提速 +16.1%，最高单次 81.0 tok/s）；
80k~128k 超长梯度 (~127.7k Tokens)：
单卡 71.2 tok/s vs 双卡 69.6 tok/s，维持在 70 tok/s 水平。
Prefill 表现与架构权衡（Trade-off）
冷 Prefill 预填充：双卡在 8k~128k 的冷前缀吞吐约为 830 ~ 845 tok/s（单卡为 1,190 ~ 1,238 tok/s）；
原因分析：这是 Strata 的 Helper Expert Cache（辅助专家缓存）模式在非对称总线（PCIe 3.0 双卡）下的典型特征：
Prefill 阶段由主卡（RX 7900 XT）独立处理大块 GEMM 密集矩阵，同时需要通过 PCIe 调度辅助卡的专家状态同步与通信开销；
牺牲了一定冷 Prefill 速度，换来了日常对话中关键的解码生成体验全面提速（短文本提升 15%，8k~48k 提升 16% ~ 46%）。
三、测试结论与建议
显存聚合成功：双卡协同工作稳定，系统内两张显卡分别常驻 17.6 GB + 15.1 GB 显存，有效可用显存达到 32.7 GB。
解码与命中率飞跃：日常对话与高负载代码生成时，解码速度普遍提升到 55 ~ 78 tok/s，专家显存命中率稳定维持在 97% ~ 98% 的近满血水平。

xiaoxiang nan

补充一下功耗信息，总体理论上限626w,实际跑大模型推理时，双卡合计最大瞬时功耗约为 354 W。这台机器的海盗船rm850e绰绰有余。
根据底层硬件传感器（hwmon）的实时高频采样监测与硬件功耗墙设定，双卡在当前 Strata 运行状态下的峰值与实际功耗数据如下：

一、实测高负载推理功耗（80ms 高频动态采样）
在执行实际的长文本 Prefill 预填充与连续 Token 生成时，双卡的实测功耗表现：

显卡角色与型号待机功耗推理平均功耗实测峰值功耗 (Peak) 负载特征
主卡 GPU 0 (RX 7900 XT 20G) ~15 W ~228.6 W 328.0 W 承担 Dense 骨干层、Prefill 密集 GEMM 与 KV 调度，算力打满
辅卡 GPU 1 (RX 6800 XT 16G) ~8 W ~20.0 W 69.0 W 仅承担 MoE 稀疏专家的分布式权重计算，轻负载运行
双卡瞬间合计 ~23.0 W ~248.5 W 354.0 W 实际大模型推理时的双卡瞬间最大功耗
二、硬件固件与驱动功耗墙（Power Limit 理论上限）
系统内核驱动接口（/sys/class/drm/card*/device/hwmon/）中两张卡的电源限制参数：

显卡型号当前生效功耗墙 (power1_cap) 默认功耗限制 (default) BIOS 允许最大可调上限 (max)
RX 7900 XT 290 W 290 W 333 W
RX 6800 XT 239 W 255 W 293 W
双卡理论上限总和 529 W 545 W 626 W
三、总结
实际业务峰值：在跑大模型推理时，双卡合计最大瞬时功耗约为 354 W（平均工作功耗仅 ~250 W 左右）；
辅卡功耗极省：作为 Helper Expert Cache（辅助专家缓存），RX 6800 XT 提供 15 GB 显存但自身功耗峰值仅 69 W，绝大部分功耗集中在负责主干运算的 RX 7900 XT 上；
供电余量充足：整机即便双卡同时遇到极短瞬间脉冲，最大功耗也不会突破 530 W 的当前系统安全限制。

J Z 0

@xiaoxiang-nan 这个提升程度，是不是拆成两台电脑算力上更划算？

xiaoxiang nan

@J-Z-0 完全利用确实是分开用更划算，但重点在异构提速嘛。相当于找一张低价卡做副卡可以提速还是很香的。

xiaoxiang nan

重发一个md格式的试试。

Strata 单卡与异构双卡性能对比：RX 7900 XT 20GB vs RX 7900 XT + RX 6800 XT

原帖：https://lcz.me/topic/2340
测试对象：RX 7900 XT 20GB 单卡 vs RX 7900 XT 20GB + RX 6800 XT 16GB 异构双卡
核心方案：Strata Helper Expert Cache（辅助专家缓存）

1. 测试说明

本次测试对比两种配置在 Strata MoE 模型推理中的表现，重点关注解码速度、专家显存命中率、长上下文性能、Prefill 吞吐和功耗。

1.1 单卡配置

主显卡：AMD Radeon RX 7900 XT，20GB VRAM
GPU 数量：1
专家缓存：主要由单卡显存承载，部分专家权重可能需要从主机内存读取

1.2 异构双卡配置

主显卡：AMD Radeon RX 7900 XT，20GB VRAM
辅助显卡：AMD Radeon RX 6800 XT，16GB VRAM
GPU 数量：2
工作模式：RX 7900 XT 负责主要模型计算，RX 6800 XT 辅助缓存 MoE 稀疏专家权重

2. 核心性能对比

测试场景 / 指标	RX 7900 XT 单卡	异构双卡	性能变化
短提示词解码速度（中位数）	47.40 tok/s	54.50 tok/s	+14.98%
短提示词专家显存命中率	90.1%	97.6%	+7.5 个百分点
8K 上下文解码速度	50.3 tok/s	73.6 tok/s	+46.32%
32K 上下文解码速度	66.4 tok/s	71.2 tok/s	+7.23%
48K 上下文解码速度	67.0 tok/s	77.8 tok/s	+16.12%
80K–128K 上下文解码速度	71.2 tok/s	69.6 tok/s	-2.25%
多轮对话次轮解码速度	52.0 tok/s	78.1 tok/s	+50.19%
长文本冷 Prefill 吞吐	约 1,210 tok/s	约 835 tok/s	-31.0%
前缀缓存复用率	98.06%	98.06%	相同
前缀缓存复用耗时	880 ms	1,338 ms	双卡耗时增加

注：tok/s 表示每秒生成的 Token 数量。不同上下文长度、生成长度及缓存状态会影响测试结果。

3. 详细测试结果

3.1 短提示词高熵生成

测试条件：Short Prompt Decoding，最大生成长度 300 Tokens。

指标	单卡	双卡
测试速度序列	42.7 / 47.4 / 50.2 tok/s	51.9 / 55.6 / 54.5 tok/s
中位数	47.40 tok/s	54.50 tok/s
专家显存命中率	90.1%	97.6%
单次最高命中率	未提供	98.0%

双卡配置下，RX 6800 XT 辅助承载稀疏专家权重，减少了解码期间从主机内存调入专家权重的需求。原帖报告的专家显存命中率从 90.1% 提高至 97.6%。

3.2 不同上下文长度下的解码速度

上下文测试场景	单卡速度	双卡速度	提升幅度
8K 上下文	50.3 tok/s	73.6 tok/s	+46.3%
32K 上下文	66.4 tok/s	71.2 tok/s	+7.2%
48K 上下文	67.0 tok/s	77.8 tok/s	+16.1%
80K–128K 上下文	71.2 tok/s	69.6 tok/s	-2.25%

补充测试信息：

8K 梯度对应约 12.8K Tokens。
32K 梯度对应约 50.8K Tokens。
48K 梯度对应约 76.9K Tokens。
80K–128K 超长梯度对应约 127.7K Tokens。
48K 场景下，双卡最高单次测得 81.0 tok/s。

结论： 双卡优势并不会随着上下文增加而线性扩大。8K 和 48K 场景收益较明显，而 80K–128K 场景基本持平，甚至略有下降。

3.3 多轮对话性能

指标	单卡	双卡
多轮对话次轮解码速度	52.0 tok/s	78.1 tok/s
相对提升	—	+50.19%
前缀缓存复用率	98.06%	98.06%
前缀缓存复用耗时	880 ms	1,338 ms

两种配置的前缀缓存复用率相同，但双卡缓存复用耗时更长，次轮解码速度却有显著提升。这表明前缀缓存复用率并不能完全决定生成速度，专家权重在 GPU 显存中的驻留情况同样重要。

4. Prefill 性能与架构权衡

4.1 冷 Prefill 吞吐

指标	单卡	双卡	变化
长文本冷 Prefill 吞吐	约 1,190–1,238 tok/s	约 830–845 tok/s	约下降 31%

Prefill 是模型读取并处理输入提示词、建立上下文状态的阶段。

原帖认为，双卡模式冷 Prefill 性能下降，主要与 PCIe 3.0 环境下的辅助专家调度、状态同步及通信开销有关。

4.2 为什么解码变快，Prefill 却变慢？

主卡承担主要计算任务： RX 7900 XT 负责主要模型计算、Prefill 阶段的矩阵运算以及 KV 缓存调度。
辅卡承载稀疏专家权重： RX 6800 XT 为更多专家权重提供显存空间，减少从主机内存调入权重的需要。
双卡增加通信开销： 专家调度和状态同步带来额外的 PCIe 通信成本。
解码收益与 Prefill 代价并存： 连续 Token 生成可能更快，但长提示词首次处理时，通信开销可能抵消部分收益。

因此，这种方案更适合重视连续生成速度的对话和代码生成场景；若主要瓶颈是长提示词首次处理，单卡可能更有优势。

5. 显存使用情况

原帖记录的双卡显存占用如下：

显卡	常驻显存
RX 7900 XT 20GB	17.6 GB
RX 6800 XT 16GB	15.1 GB
合计	32.7 GB

原帖将其描述为约 32.7 GB 的有效可用显存。

技术说明： 32.7 GB 是两张卡报告的显存占用之和，不代表两张显卡的显存被硬件层面合并成一块连续、统一寻址的显存池。实际可用容量取决于模型权重放置方式、缓存策略、显存碎片及运行时开销。

6. 双卡推理功耗测试

6.1 实测高负载推理功耗

原帖使用底层硬件传感器（hwmon）进行高频采样，采样间隔约为 80 ms。

显卡	待机功耗	推理平均功耗	实测峰值功耗	主要工作
RX 7900 XT 20GB	约 15 W	约 228.6 W	328 W	主干计算、Prefill、KV 调度
RX 6800 XT 16GB	约 8 W	约 20 W	69 W	MoE 稀疏专家缓存与相关计算
双卡合计	约 23 W	约 248.5 W	354 W	双卡协同推理

原帖报告的双卡实际推理峰值约为 354 W，平均工作功耗约 250 W。

需要注意，80 ms 采样可能无法捕获更短暂的功耗尖峰。因此，354 W 是该测试监测条件下记录到的峰值，不代表整机绝对最大功耗。

6.2 功耗限制与理论上限

显卡	当前生效功耗限制	默认功耗限制	BIOS 允许的最大调节上限
RX 7900 XT	290 W	290 W	333 W
RX 6800 XT	239 W	255 W	293 W
双卡合计	529 W	545 W	626 W

数据来源：原帖读取的 Linux 内核接口 /sys/class/drm/card*/device/hwmon/。

注意： 功耗墙上限是硬件和固件允许的功耗限制，不是实际推理功耗。电源选型还应考虑 CPU、主板、其他设备、显卡瞬时功耗尖峰及供电线连接方式。

6.3 功耗结论

主卡承担绝大部分推理功耗。
辅卡增加 16GB 显存容量，但在辅助专家缓存模式下，原帖测得其平均推理功耗约为 20 W。
双卡实测推理峰值约 354 W，低于两卡当前功耗限制之和。
原帖作者认为，其使用的 Corsair RM850e 850 W 电源余量充足。

以上结论仅反映原帖测试环境，不能直接替代整机功耗测量。

7. 综合结论

7.1 双卡方案的主要优势

提高专家显存命中率： 从 90.1% 提高至 97.6%，单次峰值达到 98%。
提高短提示词解码速度： 中位数从 47.40 tok/s 提高至 54.50 tok/s，提升约 15%。
改善部分上下文长度下的生成速度： 8K 场景提升约 46%，48K 场景提升约 16%。
提升多轮对话次轮解码速度： 从 52.0 tok/s 提高至 78.1 tok/s，提升约 50%。
降低对主机内存读取专家权重的依赖： 辅助显卡为更多稀疏专家权重提供显存空间。

7.2 双卡方案的主要代价

冷 Prefill 吞吐下降约 31%。
PCIe 通信、专家调度及状态同步带来额外开销。
在 80K–128K 超长上下文测试中，双卡没有体现明显的解码速度优势。
双卡需要额外的插槽、散热空间、供电和驱动配置。

7.3 适用场景

使用需求	测试体现出的倾向
日常对话与连续生成	双卡更有优势
高负载代码生成	双卡可能更有优势
多轮对话	双卡次轮解码优势明显
长提示词首次处理	单卡冷 Prefill 更快
80K–128K 超长上下文解码	两者基本持平
希望容纳更多 MoE 专家权重	双卡辅助专家缓存更有优势

8. 复现测试的注意事项

以上结果属于特定 Strata 环境下的实测数据，不应直接推广到所有模型或所有双卡方案。

复现实验时，建议记录：

Strata 版本与模型版本。
模型量化格式及专家权重缓存策略。
两张显卡的 PCIe 链路宽度与实际协商速率。
上下文长度、输入 Token 数与生成 Token 数。
Prefill 与 Decode 的分项速度。
专家显存命中率、主机内存占用及 GPU 显存占用。
驱动版本、功耗限制与温度。
多次重复测试的中位数和波动范围。

只有在模型、测试脚本、缓存状态和测试条件基本一致时，单卡与双卡的结果才具有较好的可比性。

9. 关键数据速查

项目	单卡	异构双卡
GPU 配置	RX 7900 XT 20GB	RX 7900 XT 20GB + RX 6800 XT 16GB
报告的显存占用合计	—	32.7 GB
短提示词解码中位数	47.40 tok/s	54.50 tok/s
8K 解码速度	50.3 tok/s	73.6 tok/s
48K 解码速度	67.0 tok/s	77.8 tok/s
80K–128K 解码速度	71.2 tok/s	69.6 tok/s
多轮对话次轮速度	52.0 tok/s	78.1 tok/s
冷 Prefill 吞吐	约 1,210 tok/s	约 835 tok/s
专家显存命中率	90.1%	97.6%
推理平均功耗	—	约 248.5 W
实测推理峰值功耗	—	约 354 W

最终结论： 在这组 Strata 测试中，RX 6800 XT 作为辅助专家缓存卡，主要价值是让更多 MoE 专家权重驻留在 GPU 显存中，从而改善连续解码速度；代价是冷 Prefill 变慢以及额外的双卡通信开销。双卡并非在所有上下文长度和推理阶段都更快。

xiongjie gao

@xiaoxiang-nan
鉴于甜点卡的显存位在24G VRAM，在这个位置下的卡价格明显都挺香
以7900XTX和7900XT做比较，差4G的显存价差能有2000-2500（二手黄鱼价）。鉴于此我觉得这异构方案有它真实的意义，偏垃圾佬向的双卡异构跑strata。一旦涉及到三卡或以上的，得加上主板升级这下经济帐就配不平了。

terry

@xiongjie-gao 这样6800XT 7900ZT都挺有性价比的。

xiaoxiang nan

@xiongjie-gao 是的。特别是现在6800和6800xt这两张卡只需要一千多，还是比较有性价比的。XT 也就三四千。毕竟XTX 现在黄鱼都是 5000 多，带保的都 6000 以上了

xiongjie gao

@terry
到你的频道一说海鲜市场又得涨价
不要小看你的影响力

xiongjie gao

@xiaoxiang-nan
对，小显存的显卡8G+8G或10G+6G，两张垃圾卡凑一凑就能跑strata了

terry

@xiongjie-gao 昨晚夹克勋和Lisa Su刚和我通完电话，交换了对未来两年硬件销售的规划事宜。我已分别收到1000万美金。

xiongjie gao

@terry 好的，LCZ的天使轮有着落了，我followA+B轮

terry

@xiongjie-gao 十位数以下都是对您不尊重，您老人家可以等Z轮再投。

抡锤者