跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. X99 DDR3 四通道 1866 + 7900 XT 20G:Strata 跑 Qwen3.8-Flash-Next IQ3_XXS 极限性能报告(Prefill 1200+ tok/s / 128K 超长上下文 / 解码 50–71 tok/s)

X99 DDR3 四通道 1866 + 7900 XT 20G:Strata 跑 Qwen3.8-Flash-Next IQ3_XXS 极限性能报告(Prefill 1200+ tok/s / 128K 超长上下文 / 解码 50–71 tok/s)

已定时 已固定 已锁定 已移动 LLM讨论区
x99qwen-flashstrata
6 帖子 4 发布者 516 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • xiaoxiang nanX
    xiaoxiang nanX
    xiaoxiang nan
    编写于 最后由 terry 编辑
    #1

    X99 + DDR3-1866 四通道实战:AMD RX 7900 XT 20G 跑 76B 级大模型(Strata 引擎)测试报告

    遵循论坛 1987、2109 与 2270 篇格式,不写玄学,只写这台机器的真实配置、验证到哪一步、核心实测数据,以及与 2270 帖(7900 XTX 24G 平台)的横向对比。

    本次测试在 128GB 内存跑满 DDR3-1866 四通道、290W 默认功耗并开启全核心 Performance 性能模式下完成全流程纯净测试。


    一、硬件规格与运行前提

    【核心硬件】

    部件 规格
    显卡 (GPU) AMD Radeon RX 7900 XT 20GB (XFX 海外版,Navi 31 / gfx1100,84 CU,320-bit,带宽 800 GB/s)
    显卡功耗 290 W (默认满血上限,无外部功耗墙限制)
    处理器 (CPU) Intel Xeon E5-2666 v3 @ 2.90GHz(已刷 BIOS 鸡血补丁 / Turbo Boost Unlock,实测高压满载 10 核 20 线程全核锁定 3.50 GHz,25MB 三级缓存,支持 AVX2)
    CPU 调频策略 Performance 性能模式(锁定全核心最高性能,杜绝调度延迟)
    系统内存 128GB DDR3-1867 满血四通道(4 根 32GB SK Hynix 4Rx4 ECC,实测运行频率 1866 MT/s,四通道理论带宽 59.7 GB/s)
    系统固态 NVMe M.2 PCIe 固态硬盘(512GB,模型载入速率约 3.10 GiB/s)

    【软件与引擎栈】

    项目 配置
    操作系统 Ubuntu 24.04.5 LTS (Linux 内核 7.0.0-38-generic)
    ROCm 环境 ROCm 10.1.0(挂载配套 gfx1100 hipBLASLt 26 组 GEMM 调优配置)
    推理引擎 Strata (engine v0.1.41)
    量化权重 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS(约 76 GB 纯文字版 GGUF + PLE 专家权重 + MTP 投机加速头)
    上下文配置 开启 524,288 tokens(512K 上下文配置,本次高压测试至 128K 边界),int8 KV 缓存,--spec 4,--conversation-cache-mib 8192
    显存常驻分配 --kv-resident 32768,--vram-reserve-mib 2048(常驻显存专家槽位 7,169 个,显存占用 20.0 GB / 20.4 GB,系统内存占用约 69 GB)

    二、核心实测数据汇总

    测试规范:严格杜绝客户端外层壁钟计时,统一直接读取 Strata 引擎底层日志每 Request 的真实硬件计数器。长上下文测试每次注入全局唯一随机 Session 标识,强制执行纯冷 Prefill。各项数据取 3 次独立测试的中位数。

    【1. 短提示词解码性能(输出 300 tokens)】

    采样次数 输入 解码速度 MTP 接受率
    第 1 次 71 tok 42.7 tok/s 64.11%
    第 2 次 78 tok 47.4 tok/s 58.88%
    第 3 次 76 tok 50.2 tok/s 61.01%

    ★ 短提示解码中位数:47.4 tok/s(峰值突破 50.2 tok/s;若在复杂代码与结构化单文件生成任务中可达 60.6 tok/s)

    【2. 长上下文 Prefill 吞吐率与解码速度(各 3 次采样中位数)】

    上下文 实测输入 Prefill 速度 解码速度 KV 显存驻留率
    8k 12.8k 1192.0 tok/s(耗时 10.7 秒) 50.3 tok/s(峰值 57.9) 94.9%
    32k 50.8k 1218.7 tok/s(耗时 41.7 秒) 66.4 tok/s(峰值 72.9) 90.5%
    48k 76.9k 1237.7 tok/s(耗时 62.1 秒) 67.0 tok/s(峰值 72.8) 90.2%
    128k 127,718 1213.1 tok/s(耗时 105.2 秒) 71.2 tok/s(峰值 71.8) 89.7%

    128k 超长极限:每轮仅从主机内存流式换入约 200MB KV 块。

    【3. 多轮对话前缀缓存复用率】

    轮次 输入 重用 增量 前缀重用率 Prefill 耗时 解码
    第 1 轮冷启动 6,454 tok — — — 951.9 tok/s 51.0 tok/s
    第 2 轮跟进 6,590 tok 6,449 tok 141 tok 97.86% 1019 ms —
    第 3 轮跟进 6,715 tok 6,585 tok 130 tok 98.06% 880 ms —

    三、与论坛 2270 帖(7900 XTX 24G 平台)深度对比分析

    【数据横向对比】

    测试项 2270 帖(7900 XTX) 本机(7900 XT) 对比结果
    8k Prefill 1237 tok/s 1192.0 tok/s 达到 96.4%
    8k 解码 51.0 tok/s 50.3 tok/s 基本持平
    32k Prefill 1286 tok/s 1218.7 tok/s 达到 94.8%
    32k 解码 61.0 tok/s 66.4 tok/s 反超 8.9%
    48k Prefill 1242 tok/s 1237.7 tok/s 达到 99.7%
    48k 解码 74.0 tok/s 67.0 tok/s 达到 90.5%(峰值 72.8)
    128k 超长 Prefill 1149 tok/s(80k) 1213.1 tok/s(128k) 超越原帖 80k 速度
    128k 超长解码 64.0 tok/s(80k) 71.2 tok/s(128k) 超越约 11.3%
    短提示解码中位数 74.5 tok/s 47.4 tok/s 存在差距(复杂代码可达 60.6)

    【为什么长上下文能追平甚至反超,而短提示仍有差距?】

    1. 长上下文 Prefill 为何极其强悍(1200+ tok/s)

    • DDR3 四通道跑满 1867 MT/s,总线理论带宽 59.7 GB/s
    • 主板 PCIe 实际探测带宽达到 13.5 GB/s
    • 配合 290W 满血功耗与 hipBLASLt GEMM 调优算子,Prefill 大块矩阵乘法彻底打满 Navi 31 的 84 个计算单元

    2. 长上下文解码为何能突破 71 tok/s

    • 启用 --kv-resident 32768 流式机制
    • 12.8 万极端上下文下,显存 KV 命中率仍高达 89.7%,单轮仅换入约 200MB KV 块
    • 长序列注意力缓存局部性好,MTP 投机接受率明显提升

    3. 短提示解码存在客观差距的物理原因

    • 7900 XTX 24GB 可常驻 9,000+ 个专家;7900 XT 20GB 扣除 2048MB 桌面预留后,实际常驻 7,169 个
    • 高熵自然语言问答中,约 2,000 个未常驻长尾专家需通过 PCIe 3.0 回落到主机内存或由 CPU 计算
    • E5-2666 v3(10C/20T)比 2270 帖的 E5-2673 v3(12C/24T)少 2 核 / 4 线程和 5MB 三级缓存
    • 但鸡血补丁全核锁定 3.50 GHz,高频单核吞吐明显优于未超频的 2.40~2.70 GHz,拉回了部分核心差距

    四、结论与心得

    1. X99 + DDR3-1867 四通道的实战潜力

    在老旧的 Haswell + X99 平台上,只要内存总线稳固运行在 DDR3-1867 四通道满血状态,配合 Strata 引擎的分层调度,Prefill 吞吐完全可以稳定轰出 1,200 ~ 1,240 tok/s 的顶格表现,彻底打破了“老平台带不动超大模型 Prefill”的刻板印象。

    2. 超长上下文的工程实用价值

    在面对真实工程中最吃力的 12.8 万 Tokens 超长冷上下文时,整套系统仅耗时 105 秒即可完成全部预填充,且解码速度稳定在 71.2 tok/s,显存零崩溃、系统零卡死。对于代码审计、长文档分析以及单文件代码生成等生产级超长文本任务,具有极高的实战价值。

    1 条回复 最后回复
    2
    • terryT
      terryT
      terry
      易有太极
      编写于 最后由 编辑
      #2

      以后让AI整理成markdown代码发给你,标题不要超过二级标题,这次我帮你改了。

      油管:https://www.youtube.com/@抡锤者

      xiaoxiang nanX 1 条回复 最后回复
      1
      • terryT
        terryT
        terry
        易有太极
        编写于 最后由 编辑
        #3

        7900XT是Strata非常大的受益者,这张卡以前是废物,现在你别说,搭配大内存,它的性能是相当不错的。内存双通道就够了,瓶颈在PCIE,除非是双卡,其实双卡影响也不太大。

        油管:https://www.youtube.com/@抡锤者

        1 条回复 最后回复
        0
        • terryT terry

          以后让AI整理成markdown代码发给你,标题不要超过二级标题,这次我帮你改了。

          xiaoxiang nanX
          xiaoxiang nanX
          xiaoxiang nan
          编写于 最后由 编辑
          #4

          @terry 👌,谢谢❤️

          1 条回复 最后回复
          0
          • NY ZhaoN
            NY ZhaoN
            NY Zhao
            编写于 最后由 编辑
            #5

            我也打算再配一个洋垃圾+7900xtx+128,单独用来跑strata,只是不知道能不能上100t/s,如果能上,就爽了

            perterP 1 条回复 最后回复
            0
            • NY ZhaoN NY Zhao

              我也打算再配一个洋垃圾+7900xtx+128,单独用来跑strata,只是不知道能不能上100t/s,如果能上,就爽了

              perterP
              perterP
              perter
              贵族大夫 硕果累累
              编写于 最后由 编辑
              #6

              @NY-Zhao 说:

              我也打算再配一个洋垃圾+7900xtx+128,单独用来跑strata,只是不知道能不能上100t/s,如果能上,就爽了

              7900xtx单卡60-70t/s,破100t/s可能要上双卡了。

              1 条回复 最后回复
              0

              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

              厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

              有了你的建议,这篇帖子会更精彩哦 💗

              注册 登录
              回复
              • 在新帖中回复
              登录后回复
              • 从旧到新
              • 从新到旧
              • 最多赞同


              • 登录

              • 登录或注册以进行搜索。
              • 第一个帖子
                最后一个帖子
              0
              • 版块
              • 最新
              • 标签
              • 热门
              • 用户
              • 群组