跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
Jay TangJ

Jay Tang

@Jay Tang
取消关注 关注
关于
帖子
4
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 从双卡折腾到回归单卡:Strata 跑 125B MoE,双卡效率竟然被单卡反杀?(附实测数据)
    Jay TangJ Jay Tang
    随便聊聊

    @gao-Gao 你说的对,这个降频信息不实被DS误导了.....测试时实际功耗在317W

    +------------------------------------------------------------------------------+
    | AMD-SMI 27.1.0+7da43026 |
    | OS kernel Version: 7.0.0-42-generic |
    | ROCm Version: 10.1.0 |
    | VBIOS Version: 00109236 |
    | Platform: Linux Baremetal |
    |-------------------------------------+----------------------------------------|
    | BDF GPU-Name | Mem-Uti Temp UEC Power-Usage |
    | GPU HIP-ID OAM-ID Partition-Mode | GFX-Uti Fan Mem-Usage |
    |=====================================+========================================|
    | 0000:03:00.0 AMD Radeon RX 7900 XTX | 20 % 63 °C 0 164/257 W |
    | 0 1 N/A N/A | 63 % 40.0 % 21919/24560 MB |
    |-------------------------------------+----------------------------------------|
    | 0000:83:00.0 AMD Radeon RX 7900 XTX | 35 % 89 °C 0 317/327 W |
    | 1 0 N/A N/A | 100 % 38.82 21778/24560 MB |
    +-------------------------------------+----------------------------------------+
    +------------------------------------------------------------------------------+

    Processes:
    GPU PID Process Name GTT_MEM VRAM_MEM MEM_USAGE CU % SDMA
    0 87003 strata 11.8 MB 20.6 GB 21.3 GB N/A 0 us
    1 87003 strata 11.8 MB 20.5 GB 21.2 GB N/A 0 us

    +------------------------------------------------------------------------------+


  • 从双卡折腾到回归单卡:Strata 跑 125B MoE,双卡效率竟然被单卡反杀?(附实测数据)
    Jay TangJ Jay Tang
    随便聊聊

    我测试双卡分层模式时Prefill 读取:约 2293 t/s。日常长度下与单卡(稳定 2100~2600 t/s)几乎持平


  • 从双卡折腾到回归单卡:Strata 跑 125B MoE,双卡效率竟然被单卡反杀?(附实测数据)
    Jay TangJ Jay Tang
    随便聊聊

    前言
    之前一直被“双卡聚合吞吐量 160 t/s”的数据种草,于是搞了两张 7900 XTX(讯景三风扇 + 蓝宝石涡轮)试图组双卡。结果一顿操作猛如虎,实测下来发现单卡效率反而完爆双卡。把这段时间的实测数据和踩坑记录发出来,想请社区大佬们把把脉。

    💻 测试环境
    CPU: AMD EPYC 7R32

    内存: 128GB DDR4

    显卡: 讯景 7900 XTX(主卡)+ 蓝宝石 7900 XTX 涡轮(已拆)

    模型: Qwen3.8-Flash-Next (IQ3_S,125B MoE)

    🏆 结论先行:实测效率对比(同一个 7 万 Token 长文本 Agent 任务)
    单卡模式(极简配置):Decode 稳定 90~125 t/s,Prefill 约 2300 t/s。GPU 占用 100%,核心温度 60°C,热点 80°C,功耗限制在 300W,频率跑满 2975MHz。

    双卡分层模式(Layer Split):Decode 掉到 50~80 t/s。虽然 Prefill 略有提升,但跨卡通信延迟明显,且被下方的涡轮卡(热点 89°C 降频)严重拖后腿。

    双卡双副本(Replicas):理论总吞吐 160 t/s,但在实际的两个 Claude Code 终端并发场景下,请求遭遇“前缀缓存调度坑”,全部被挤在同一张卡上排队,另一张卡 0% 闲置。实际单任务体验还不如单卡。。。。。

    📉 双卡踩坑复盘(为什么效率起不来?怀疑是如下原因 或者是我的参数没有调好?)

    1. 层切分(Layer Split)的“木桶效应”
      两张卡流水线接力,速度取决于最慢的那一环。蓝宝石涡轮卡的散热极差(VBIOS 锁死 40% 最低转速,满载 89°C 降频),直接成了整个系统的瓶颈。而且跨卡 PCIe 通信的物理延迟,让逐字生成的 Decode 效率大打折扣。

    2. 双副本(Replicas)的“前缀引力”
      多开两个 Claude Code 实例,Strata 调度器为了节省约 19,500 Token 的系统提示词重读成本,会优先把请求路由到已缓存该前缀的卡上,导致“一卡忙死,一卡闲死”。

    3. 参数冲突
      --batch 2 和 --layer_split 混用容易互相打架,导致两张卡各说各话。

    🚀 单卡调优的高光时刻
    拆掉涡轮卡,回归单张讯景 7900 XTX,反而迎来了最完美的甜点位:

    编译修复:必须使用 pr1-avx2safe 分支(解决 AVX-512 在 Zen 2 上的 SIGILL 崩溃)。

    极简环境变量:去掉了花里胡哨的融合参数,只保留 STRATA_PREFILL_MMQ=1、STRATA_HIP_WMMA=1、STRATA_PREFILL_RING=96、STRATA_IO_THREADS=32、STRATA_ROUTE_TAIL_SKIP=7。

    image.jpeg

    最后退掉涡轮卡,回归单卡~~~~~

    ❓ 悬而未决的疑问(求社区大佬指点)
    社区实测双副本能到 160 t/s 聚合吞吐,我的“前缀缓存调度坑”有人遇到过吗? 难道只能起两个 Strata 进程物理隔离?


  • 双RX7900XTX塞进同一机箱,满载温度成功压到 90℃以内
    Jay TangJ Jay Tang
    AI硬件 7900xtx 多卡部署

    @懒人烘培 大佬,请问是哪家能定制线缆呐。我的是酷冷至尊GX 1300W,提交定制需求后回复了个:经查,暂不支持订购.......😰

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组