目前比较明显的感受是：显存从 24GB 增加到 48GB，模型放置和上下文配置更宽裕了，但速度仍然很依赖模型、量化格式、推理内核和专家缓存命中率。

硬件变化

当前两张 AMD 卡都参与推理，但直接 P2P 尚未启用：

• SGLang、vLLM 使用 TP2，经主机内存传输。
• llama.cpp、Strata、Maya 使用各自支持的分层方案；Strata/Maya 的这些配置不能等同于真正的张量并行。
• MoE 模型使用 CPU/RAM 专家卸载和 GPU 热专家缓存，Strata、Maya 的流式模型放在 NVMe 上。

本次使用的后端版本

当前 AMD 实测

下面九个配置使用相同的基本测试流程：

• 短提示词分别测试代码和故事生成，每项预热一次、计时三次，取中位数。
• 输出上限 256 tokens，temperature=0.6、top_p=0.95、seed=42，请求关闭 thinking。
• Prefill 使用新输入，约 8K tokens；Maya tokenizer 下实际约 6.3K。
• 冷启动和编译时间不计入 TTFT。
• Decode 为外部 SSE 测量；llama.cpp／Strata／Maya 的 PP 来自原生计时，SGLang／vLLM 来自各自引擎的 prefill 阶段计时，定义有差异。

下表的“代码／故事”按这个顺序排列。PP、Decode 单位均为 tokens/s。

另一个保留的模型是 Nemotron Super IQ3_XXS。它使用固定约 8K 输入的代码／故事测试，工作负载不同，因此单独列出：

Super 当前关闭 MTP，使用 CPU 专家 backing 和 GPU 热专家缓存。上面的 TTFT 包含约 8K 输入处理，不能与前表的短提示词 TTFT 直接比较。

长上下文到底测到了哪里？

配置了某个窗口，不代表整个窗口已经完成质量和速度验证。目前保留的证据如下：

三个较小的 llama.cpp MoE 虽然配置为 256K，但保留的检索证据主要是旧版本约 64K，以及新版本约 8K 测试，不把它们写成已经完整验证 256K。

同样，表里的 SGLang 178.82 t/s 是短提示词代码生成成绩，不能当作带着 16 万 tokens 历史时的持续生成速度。

Strata 和 Maya 的配置补充

• Strata 保留 Flash-Next IQ3_XXS，专家 RAM 预算 13.5GiB，6 个 pool workers；INT8 KV，GPU KV 驻留 32K，其余使用主机 backing。
• GLM 使用 Maya-S24／IQ2_XXS_S，三个 GGUF 分片，RAM 专家预算 40GiB，MTP 开启。
• DeepSeek 使用 Maya-S／IQ2_XXS，六个 GGUF 分片，包含 Q6_K Engram。这是混合量化，不能理解成所有张量都是统一 2-bit。
• DeepSeek 的 DSpark 已测过，这台机器上没有选用，当前保持关闭。
• Maya 保留每卡原生 8GiB reserve，并要求启动后实际整卡空闲至少 6GiB，同时监控主机内存、显存和 owned worker 的 swap／spill。

目前通过的配置均保留了零 observed worker swap／VRAM spill 的记录。正在测试 GLM Maya-S 对比 S24；暂时仍以上表已经验证的 S24 结果为准。

旧 NVIDIA 平台留档

旧平台是 4070 12GB＋3060 12GB。挑几组有实际计时记录的数据作参考：

这些 NVIDIA 数据来自各自历史版本，CPU、量化、后端版本、上下文、输出长度和策略都存在变化，不能据此计算纯 GPU 升级带来的提升百分比。特别是旧 NVIDIA 的 HyperQwen DFlash2，本来就有很不错的短提示词成绩。

我把硬件、启动脚本、版本、测试方法和数值记录整理在了 Github 公开仓库：Biegle-W

欢迎有双 7900 XTX、类似 CPU／内存配置的朋友贴一下自己的 Maya、Strata 或 ROCm 成绩，最好带上量化、实际输入长度、采样参数、缓存状态和版本，方便一起对照。