@XIUNAN-ZHI 自检10分钟肯定不正常。

@xiongjie-gao 是的。特别是现在6800和6800xt这两张卡只需要一千多，还是比较有性价比的。XT 也就三四千。毕竟XTX 现在黄鱼都是 5000 多，带保的都 6000 以上了

重发一个md格式的试试。

Strata 单卡与异构双卡性能对比：RX 7900 XT 20GB vs RX 7900 XT + RX 6800 XT

原帖：https://lcz.me/topic/2340
测试对象：RX 7900 XT 20GB 单卡 vs RX 7900 XT 20GB + RX 6800 XT 16GB 异构双卡
核心方案：Strata Helper Expert Cache（辅助专家缓存）

1. 测试说明

本次测试对比两种配置在 Strata MoE 模型推理中的表现，重点关注解码速度、专家显存命中率、长上下文性能、Prefill 吞吐和功耗。

1.1 单卡配置

• 主显卡：AMD Radeon RX 7900 XT，20GB VRAM
• GPU 数量：1
• 专家缓存：主要由单卡显存承载，部分专家权重可能需要从主机内存读取

1.2 异构双卡配置

• 主显卡：AMD Radeon RX 7900 XT，20GB VRAM
• 辅助显卡：AMD Radeon RX 6800 XT，16GB VRAM
• GPU 数量：2
• 工作模式：RX 7900 XT 负责主要模型计算，RX 6800 XT 辅助缓存 MoE 稀疏专家权重

2. 核心性能对比

测试场景 / 指标	RX 7900 XT 单卡	异构双卡	性能变化
短提示词解码速度（中位数）	47.40 tok/s	54.50 tok/s	+14.98%
短提示词专家显存命中率	90.1%	97.6%	+7.5 个百分点
8K 上下文解码速度	50.3 tok/s	73.6 tok/s	+46.32%
32K 上下文解码速度	66.4 tok/s	71.2 tok/s	+7.23%
48K 上下文解码速度	67.0 tok/s	77.8 tok/s	+16.12%
80K–128K 上下文解码速度	71.2 tok/s	69.6 tok/s	-2.25%
多轮对话次轮解码速度	52.0 tok/s	78.1 tok/s	+50.19%
长文本冷 Prefill 吞吐	约 1,210 tok/s	约 835 tok/s	-31.0%
前缀缓存复用率	98.06%	98.06%	相同
前缀缓存复用耗时	880 ms	1,338 ms	双卡耗时增加

注：tok/s 表示每秒生成的 Token 数量。不同上下文长度、生成长度及缓存状态会影响测试结果。

3. 详细测试结果

3.1 短提示词高熵生成

测试条件：Short Prompt Decoding，最大生成长度 300 Tokens。

指标	单卡	双卡
测试速度序列	42.7 / 47.4 / 50.2 tok/s	51.9 / 55.6 / 54.5 tok/s
中位数	47.40 tok/s	54.50 tok/s
专家显存命中率	90.1%	97.6%
单次最高命中率	未提供	98.0%

双卡配置下，RX 6800 XT 辅助承载稀疏专家权重，减少了解码期间从主机内存调入专家权重的需求。原帖报告的专家显存命中率从 90.1% 提高至 97.6%。

3.2 不同上下文长度下的解码速度

上下文测试场景	单卡速度	双卡速度	提升幅度
8K 上下文	50.3 tok/s	73.6 tok/s	+46.3%
32K 上下文	66.4 tok/s	71.2 tok/s	+7.2%
48K 上下文	67.0 tok/s	77.8 tok/s	+16.1%
80K–128K 上下文	71.2 tok/s	69.6 tok/s	-2.25%

补充测试信息：

• 8K 梯度对应约 12.8K Tokens。
• 32K 梯度对应约 50.8K Tokens。
• 48K 梯度对应约 76.9K Tokens。
• 80K–128K 超长梯度对应约 127.7K Tokens。
• 48K 场景下，双卡最高单次测得 81.0 tok/s。

结论： 双卡优势并不会随着上下文增加而线性扩大。8K 和 48K 场景收益较明显，而 80K–128K 场景基本持平，甚至略有下降。

3.3 多轮对话性能

指标	单卡	双卡
多轮对话次轮解码速度	52.0 tok/s	78.1 tok/s
相对提升	—	+50.19%
前缀缓存复用率	98.06%	98.06%
前缀缓存复用耗时	880 ms	1,338 ms

两种配置的前缀缓存复用率相同，但双卡缓存复用耗时更长，次轮解码速度却有显著提升。这表明前缀缓存复用率并不能完全决定生成速度，专家权重在 GPU 显存中的驻留情况同样重要。

4. Prefill 性能与架构权衡

4.1 冷 Prefill 吞吐

指标	单卡	双卡	变化
长文本冷 Prefill 吞吐	约 1,190–1,238 tok/s	约 830–845 tok/s	约下降 31%

Prefill 是模型读取并处理输入提示词、建立上下文状态的阶段。

原帖认为，双卡模式冷 Prefill 性能下降，主要与 PCIe 3.0 环境下的辅助专家调度、状态同步及通信开销有关。

4.2 为什么解码变快，Prefill 却变慢？

1. 主卡承担主要计算任务： RX 7900 XT 负责主要模型计算、Prefill 阶段的矩阵运算以及 KV 缓存调度。
2. 辅卡承载稀疏专家权重： RX 6800 XT 为更多专家权重提供显存空间，减少从主机内存调入权重的需要。
3. 双卡增加通信开销： 专家调度和状态同步带来额外的 PCIe 通信成本。
4. 解码收益与 Prefill 代价并存： 连续 Token 生成可能更快，但长提示词首次处理时，通信开销可能抵消部分收益。

因此，这种方案更适合重视连续生成速度的对话和代码生成场景；若主要瓶颈是长提示词首次处理，单卡可能更有优势。

5. 显存使用情况

原帖记录的双卡显存占用如下：

显卡	常驻显存
RX 7900 XT 20GB	17.6 GB
RX 6800 XT 16GB	15.1 GB
合计	32.7 GB

原帖将其描述为约 32.7 GB 的有效可用显存。

技术说明： 32.7 GB 是两张卡报告的显存占用之和，不代表两张显卡的显存被硬件层面合并成一块连续、统一寻址的显存池。实际可用容量取决于模型权重放置方式、缓存策略、显存碎片及运行时开销。

6. 双卡推理功耗测试

6.1 实测高负载推理功耗

原帖使用底层硬件传感器（hwmon）进行高频采样，采样间隔约为 80 ms。

显卡	待机功耗	推理平均功耗	实测峰值功耗	主要工作
RX 7900 XT 20GB	约 15 W	约 228.6 W	328 W	主干计算、Prefill、KV 调度
RX 6800 XT 16GB	约 8 W	约 20 W	69 W	MoE 稀疏专家缓存与相关计算
双卡合计	约 23 W	约 248.5 W	354 W	双卡协同推理

原帖报告的双卡实际推理峰值约为 354 W，平均工作功耗约 250 W。

需要注意，80 ms 采样可能无法捕获更短暂的功耗尖峰。因此，354 W 是该测试监测条件下记录到的峰值，不代表整机绝对最大功耗。

6.2 功耗限制与理论上限

显卡	当前生效功耗限制	默认功耗限制	BIOS 允许的最大调节上限
RX 7900 XT	290 W	290 W	333 W
RX 6800 XT	239 W	255 W	293 W
双卡合计	529 W	545 W	626 W

数据来源：原帖读取的 Linux 内核接口 /sys/class/drm/card*/device/hwmon/。

注意： 功耗墙上限是硬件和固件允许的功耗限制，不是实际推理功耗。电源选型还应考虑 CPU、主板、其他设备、显卡瞬时功耗尖峰及供电线连接方式。

6.3 功耗结论

• 主卡承担绝大部分推理功耗。
• 辅卡增加 16GB 显存容量，但在辅助专家缓存模式下，原帖测得其平均推理功耗约为 20 W。
• 双卡实测推理峰值约 354 W，低于两卡当前功耗限制之和。
• 原帖作者认为，其使用的 Corsair RM850e 850 W 电源余量充足。

以上结论仅反映原帖测试环境，不能直接替代整机功耗测量。

7. 综合结论

7.1 双卡方案的主要优势

1. 提高专家显存命中率： 从 90.1% 提高至 97.6%，单次峰值达到 98%。
2. 提高短提示词解码速度： 中位数从 47.40 tok/s 提高至 54.50 tok/s，提升约 15%。
3. 改善部分上下文长度下的生成速度： 8K 场景提升约 46%，48K 场景提升约 16%。
4. 提升多轮对话次轮解码速度： 从 52.0 tok/s 提高至 78.1 tok/s，提升约 50%。
5. 降低对主机内存读取专家权重的依赖： 辅助显卡为更多稀疏专家权重提供显存空间。

7.2 双卡方案的主要代价

1. 冷 Prefill 吞吐下降约 31%。
2. PCIe 通信、专家调度及状态同步带来额外开销。
3. 在 80K–128K 超长上下文测试中，双卡没有体现明显的解码速度优势。
4. 双卡需要额外的插槽、散热空间、供电和驱动配置。

7.3 适用场景

使用需求	测试体现出的倾向
日常对话与连续生成	双卡更有优势
高负载代码生成	双卡可能更有优势
多轮对话	双卡次轮解码优势明显
长提示词首次处理	单卡冷 Prefill 更快
80K–128K 超长上下文解码	两者基本持平
希望容纳更多 MoE 专家权重	双卡辅助专家缓存更有优势

8. 复现测试的注意事项

以上结果属于特定 Strata 环境下的实测数据，不应直接推广到所有模型或所有双卡方案。

复现实验时，建议记录：

• Strata 版本与模型版本。
• 模型量化格式及专家权重缓存策略。
• 两张显卡的 PCIe 链路宽度与实际协商速率。
• 上下文长度、输入 Token 数与生成 Token 数。
• Prefill 与 Decode 的分项速度。
• 专家显存命中率、主机内存占用及 GPU 显存占用。
• 驱动版本、功耗限制与温度。
• 多次重复测试的中位数和波动范围。

只有在模型、测试脚本、缓存状态和测试条件基本一致时，单卡与双卡的结果才具有较好的可比性。

9. 关键数据速查

项目	单卡	异构双卡
GPU 配置	RX 7900 XT 20GB	RX 7900 XT 20GB + RX 6800 XT 16GB
报告的显存占用合计	—	32.7 GB
短提示词解码中位数	47.40 tok/s	54.50 tok/s
8K 解码速度	50.3 tok/s	73.6 tok/s
48K 解码速度	67.0 tok/s	77.8 tok/s
80K–128K 解码速度	71.2 tok/s	69.6 tok/s
多轮对话次轮速度	52.0 tok/s	78.1 tok/s
冷 Prefill 吞吐	约 1,210 tok/s	约 835 tok/s
专家显存命中率	90.1%	97.6%
推理平均功耗	—	约 248.5 W
实测推理峰值功耗	—	约 354 W

---

最终结论： 在这组 Strata 测试中，RX 6800 XT 作为辅助专家缓存卡，主要价值是让更多 MoE 专家权重驻留在 GPU 显存中，从而改善连续解码速度；代价是冷 Prefill 变慢以及额外的双卡通信开销。双卡并非在所有上下文长度和推理阶段都更快。

@J-Z-0 完全利用确实是分开用更划算，但重点在异构提速嘛。相当于找一张低价卡做副卡可以提速还是很香的。

@terry ，谢谢️

补充一下功耗信息，总体理论上限626w,实际跑大模型推理时，双卡合计最大瞬时功耗约为 354 W。这台机器的海盗船rm850e绰绰有余。
根据底层硬件传感器（hwmon）的实时高频采样监测与硬件功耗墙设定，双卡在当前 Strata 运行状态下的峰值与实际功耗数据如下：

一、实测高负载推理功耗（80ms 高频动态采样）
在执行实际的长文本 Prefill 预填充与连续 Token 生成时，双卡的实测功耗表现：

显卡角色与型号 待机功耗 推理平均功耗 实测峰值功耗 (Peak) 负载特征
主卡 GPU 0 (RX 7900 XT 20G) ~15 W ~228.6 W 328.0 W 承担 Dense 骨干层、Prefill 密集 GEMM 与 KV 调度，算力打满
辅卡 GPU 1 (RX 6800 XT 16G) ~8 W ~20.0 W 69.0 W 仅承担 MoE 稀疏专家的分布式权重计算，轻负载运行
双卡瞬间合计 ~23.0 W ~248.5 W 354.0 W 实际大模型推理时的双卡瞬间最大功耗
二、硬件固件与驱动功耗墙（Power Limit 理论上限）
系统内核驱动接口（/sys/class/drm/card*/device/hwmon/）中两张卡的电源限制参数：

显卡型号 当前生效功耗墙 (power1_cap) 默认功耗限制 (default) BIOS 允许最大可调上限 (max)
RX 7900 XT 290 W 290 W 333 W
RX 6800 XT 239 W 255 W 293 W
双卡理论上限总和 529 W 545 W 626 W
三、总结
实际业务峰值：在跑大模型推理时，双卡合计最大瞬时功耗约为 354 W（平均工作功耗仅 ~250 W 左右）；
辅卡功耗极省：作为 Helper Expert Cache（辅助专家缓存），RX 6800 XT 提供 15 GB 显存但自身功耗峰值仅 69 W，绝大部分功耗集中在负责主干运算的 RX 7900 XT 上；
供电余量充足：整机即便双卡同时遇到极短瞬间脉冲，最大功耗也不会突破 530 W 的当前系统安全限制。

基于此前相同的评测规范与基准测试脚本（/home/snow/run_full_benchmark.py），对单卡（RX 7900 XT 20GB）与异构双卡（RX 7900 XT 20GB + RX 6800 XT 16GB 辅助专家缓存）完成了一整轮严格对齐的基准测试，详细实测数据对比报告如下：

一、核心对比总览表
测试场景 / 指标 单卡配置 (7900 XT 20GB) 双卡协同 (7900 XT + 6800 XT) 变化幅度 / 影响分析
短提示词 解码速度 47.40 tok/s [42.7, 47.4, 50.2] 54.50 tok/s [51.9, 55.6, 54.5] +14.98% (稳固冲上 55 tok/s)
短提示词 专家显存命中率 90.1% 97.6% (单次峰值达 98.0%) +7.5% (几乎完全告别主机内存回落)
8k 上下文 解码速度 50.3 tok/s 73.6 tok/s [67.5, 73.6, 79.2] +46.32% (爆发式增长)
32k 上下文 解码速度 66.4 tok/s 71.2 tok/s [71.2, 69.9, 79.1] +7.23%
48k 上下文 解码速度 67.0 tok/s 77.8 tok/s [77.8, 74.1, 81.0] +16.12% (峰值达 81.0 tok/s)
80k~128k 上下文 解码速度 71.2 tok/s 69.6 tok/s [67.6, 69.6, 72.9] ️ -2.25% (基本持平)
多轮对话次轮 解码速度 52.0 tok/s 78.1 tok/s +50.19% (极速生成)
长文本冷 Prefill 吞吐 ~1,210 tok/s ~835 tok/s -31.0% (PCIe 双卡同步协议开销)
多轮会话前缀缓存重用 98.06% 重用 (880 ms) 98.06% 重用 (1,338 ms) 保持极高缓存复用率
二、详细场景实测数据拆解

1. 短提示词高熵生成（Short Prompt Decoding, 300 Max Tokens）
   单卡实测：[42.7, 47.4, 50.2] tok/s，中位数 47.40 tok/s；专家缓存命中率 90.1%；
   双卡实测：[51.9, 55.6, 54.5] tok/s，中位数 54.50 tok/s；专家缓存命中率 97.6%（峰值 98.0%）；
   收益机制：副卡（RX 6800 XT）成功接纳了 15.1 GB 的稀疏专家权重，两卡合并后 98% 的专家被牢牢锁定在 GPU 物理显存中，极大减少了解码阶段通过 PCIe 3.0 总线向主机系统内存取权重的停顿。
2. 长上下文解码梯度（Context Gradient Decoding）
   8k 梯度 (~12.8k Tokens)：
   解码速度从单卡 50.3 tok/s 跃升至 73.6 tok/s（提速 +46.3%）；
   32k 梯度 (~50.8k Tokens)：
   解码速度从单卡 66.4 tok/s 提升至 71.2 tok/s（提速 +7.2%）；
   48k 梯度 (~76.9k Tokens)：
   解码速度从单卡 67.0 tok/s 攀升至 77.8 tok/s（提速 +16.1%，最高单次 81.0 tok/s）；
   80k~128k 超长梯度 (~127.7k Tokens)：
   单卡 71.2 tok/s vs 双卡 69.6 tok/s，维持在 70 tok/s 水平。
3. Prefill 表现与架构权衡（Trade-off）
   冷 Prefill 预填充：双卡在 8k~128k 的冷前缀吞吐约为 830 ~ 845 tok/s（单卡为 1,190 ~ 1,238 tok/s）；
   原因分析：这是 Strata 的 Helper Expert Cache（辅助专家缓存） 模式在非对称总线（PCIe 3.0 双卡）下的典型特征：
   Prefill 阶段由主卡（RX 7900 XT）独立处理大块 GEMM 密集矩阵，同时需要通过 PCIe 调度辅助卡的专家状态同步与通信开销；
   牺牲了一定冷 Prefill 速度，换来了日常对话中关键的解码生成体验全面提速（短文本提升 15%，8k~48k 提升 16% ~ 46%）。
   三、测试结论与建议
   显存聚合成功：双卡协同工作稳定，系统内两张显卡分别常驻 17.6 GB + 15.1 GB 显存，有效可用显存达到 32.7 GB。
   解码与命中率飞跃：日常对话与高负载代码生成时，解码速度普遍提升到 55 ~ 78 tok/s，专家显存命中率稳定维持在 97% ~ 98% 的近满血水平。

X99 + DDR3-1866 四通道实战：AMD RX 7900 XT 20G 跑 76B 级大模型（Strata 引擎）测试报告

遵循论坛 1987、2109 与 2270 篇格式，不写玄学，只写这台机器的真实配置、验证到哪一步、核心实测数据，以及与 2270 帖（7900 XTX 24G 平台）的横向对比。

本次测试在 128GB 内存跑满 DDR3-1866 四通道、290W 默认功耗并开启全核心 Performance 性能模式下完成全流程纯净测试。

---

一、硬件规格与运行前提

【核心硬件】

部件	规格
显卡 (GPU)	AMD Radeon RX 7900 XT 20GB (XFX 海外版，Navi 31 / gfx1100，84 CU，320-bit，带宽 800 GB/s)
显卡功耗	290 W (默认满血上限，无外部功耗墙限制)
处理器 (CPU)	Intel Xeon E5-2666 v3 @ 2.90GHz（已刷 BIOS 鸡血补丁 / Turbo Boost Unlock，实测高压满载 10 核 20 线程全核锁定 3.50 GHz，25MB 三级缓存，支持 AVX2）
CPU 调频策略	Performance 性能模式（锁定全核心最高性能，杜绝调度延迟）
系统内存	128GB DDR3-1867 满血四通道（4 根 32GB SK Hynix 4Rx4 ECC，实测运行频率 1866 MT/s，四通道理论带宽 59.7 GB/s）
系统固态	NVMe M.2 PCIe 固态硬盘（512GB，模型载入速率约 3.10 GiB/s）

【软件与引擎栈】

项目	配置
操作系统	Ubuntu 24.04.5 LTS (Linux 内核 7.0.0-38-generic)
ROCm 环境	ROCm 10.1.0（挂载配套 gfx1100 hipBLASLt 26 组 GEMM 调优配置）
推理引擎	Strata (engine v0.1.41)
量化权重	Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS（约 76 GB 纯文字版 GGUF + PLE 专家权重 + MTP 投机加速头）
上下文配置	开启 524,288 tokens（512K 上下文配置，本次高压测试至 128K 边界），int8 KV 缓存，--spec 4，--conversation-cache-mib 8192
显存常驻分配	--kv-resident 32768，--vram-reserve-mib 2048（常驻显存专家槽位 7,169 个，显存占用 20.0 GB / 20.4 GB，系统内存占用约 69 GB）

---

二、核心实测数据汇总

测试规范：严格杜绝客户端外层壁钟计时，统一直接读取 Strata 引擎底层日志每 Request 的真实硬件计数器。长上下文测试每次注入全局唯一随机 Session 标识，强制执行纯冷 Prefill。各项数据取 3 次独立测试的中位数。

【1. 短提示词解码性能（输出 300 tokens）】

采样次数	输入	解码速度	MTP 接受率
第 1 次	71 tok	42.7 tok/s	64.11%
第 2 次	78 tok	47.4 tok/s	58.88%
第 3 次	76 tok	50.2 tok/s	61.01%

★ 短提示解码中位数：47.4 tok/s（峰值突破 50.2 tok/s；若在复杂代码与结构化单文件生成任务中可达 60.6 tok/s）

【2. 长上下文 Prefill 吞吐率与解码速度（各 3 次采样中位数）】

上下文	实测输入	Prefill 速度	解码速度	KV 显存驻留率
8k	12.8k	1192.0 tok/s（耗时 10.7 秒）	50.3 tok/s（峰值 57.9）	94.9%
32k	50.8k	1218.7 tok/s（耗时 41.7 秒）	66.4 tok/s（峰值 72.9）	90.5%
48k	76.9k	1237.7 tok/s（耗时 62.1 秒）	67.0 tok/s（峰值 72.8）	90.2%
128k	127,718	1213.1 tok/s（耗时 105.2 秒）	71.2 tok/s（峰值 71.8）	89.7%

128k 超长极限：每轮仅从主机内存流式换入约 200MB KV 块。

【3. 多轮对话前缀缓存复用率】

轮次	输入	重用	增量	前缀重用率	Prefill 耗时	解码
第 1 轮冷启动	6,454 tok	—	—	—	951.9 tok/s	51.0 tok/s
第 2 轮跟进	6,590 tok	6,449 tok	141 tok	97.86%	1019 ms	—
第 3 轮跟进	6,715 tok	6,585 tok	130 tok	98.06%	880 ms	—

---

三、与论坛 2270 帖（7900 XTX 24G 平台）深度对比分析

【数据横向对比】

测试项	2270 帖（7900 XTX）	本机（7900 XT）	对比结果
8k Prefill	1237 tok/s	1192.0 tok/s	达到 96.4%
8k 解码	51.0 tok/s	50.3 tok/s	基本持平
32k Prefill	1286 tok/s	1218.7 tok/s	达到 94.8%
32k 解码	61.0 tok/s	66.4 tok/s	反超 8.9%
48k Prefill	1242 tok/s	1237.7 tok/s	达到 99.7%
48k 解码	74.0 tok/s	67.0 tok/s	达到 90.5%（峰值 72.8）
128k 超长 Prefill	1149 tok/s（80k）	1213.1 tok/s（128k）	超越原帖 80k 速度
128k 超长解码	64.0 tok/s（80k）	71.2 tok/s（128k）	超越约 11.3%
短提示解码中位数	74.5 tok/s	47.4 tok/s	存在差距（复杂代码可达 60.6）

【为什么长上下文能追平甚至反超，而短提示仍有差距？】

1. 长上下文 Prefill 为何极其强悍（1200+ tok/s）

• DDR3 四通道跑满 1867 MT/s，总线理论带宽 59.7 GB/s
• 主板 PCIe 实际探测带宽达到 13.5 GB/s
• 配合 290W 满血功耗与 hipBLASLt GEMM 调优算子，Prefill 大块矩阵乘法彻底打满 Navi 31 的 84 个计算单元

2. 长上下文解码为何能突破 71 tok/s

• 启用 --kv-resident 32768 流式机制
• 12.8 万极端上下文下，显存 KV 命中率仍高达 89.7%，单轮仅换入约 200MB KV 块
• 长序列注意力缓存局部性好，MTP 投机接受率明显提升

3. 短提示解码存在客观差距的物理原因

• 7900 XTX 24GB 可常驻 9,000+ 个专家；7900 XT 20GB 扣除 2048MB 桌面预留后，实际常驻 7,169 个
• 高熵自然语言问答中，约 2,000 个未常驻长尾专家需通过 PCIe 3.0 回落到主机内存或由 CPU 计算
• E5-2666 v3（10C/20T）比 2270 帖的 E5-2673 v3（12C/24T）少 2 核 / 4 线程和 5MB 三级缓存
• 但鸡血补丁全核锁定 3.50 GHz，高频单核吞吐明显优于未超频的 2.40~2.70 GHz，拉回了部分核心差距

---

四、结论与心得

1. X99 + DDR3-1867 四通道的实战潜力

在老旧的 Haswell + X99 平台上，只要内存总线稳固运行在 DDR3-1867 四通道满血状态，配合 Strata 引擎的分层调度，Prefill 吞吐完全可以稳定轰出 1,200 ~ 1,240 tok/s 的顶格表现，彻底打破了“老平台带不动超大模型 Prefill”的刻板印象。

2. 超长上下文的工程实用价值

在面对真实工程中最吃力的 12.8 万 Tokens 超长冷上下文时，整套系统仅耗时 105 秒即可完成全部预填充，且解码速度稳定在 71.2 tok/s，显存零崩溃、系统零卡死。对于代码审计、长文档分析以及单文件代码生成等生产级超长文本任务，具有极高的实战价值。

我也是x99，2666v37900xt128ddr3 1866，Ubuntu24解码60左右。