跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
9

909

@909
取消关注 关注
关于
帖子
35
主题
9
分享
0
群组
0
粉丝
0
关注
4

帖子

最新 最佳 有争议的

  • 已经买了个7900xtx,怎么去华南金牌选x99型号,抄个作业,论坛没搜索功能
    9 909
    AI硬件 7900xtx x99

    已经买了个7900xtx,怎么去华南金牌选x99型号,抄个作业,论坛没搜索功能
    路过得大佬帮忙发个配置


  • 请教:双 7900 XTX 有必要出掉一张,换成 32GB 的 R9700 吗?
    9 909
    AI硬件 7900xtx r9700 多卡部署

    双 7900 XTX 有必要换一张 32GB 的 R9700 吗?

    最近一直在折腾 AMD 双卡本地大模型,想听听各位大佬的意见:双 7900 XTX 是否有必要出掉一张,换成 32GB 的 Radeon AI PRO R9700?

    一、目前硬件配置

    • CPU: E5-2696 v4
    • 主板: X99-TF GAMING V3.0
    • 内存: 128GB DDR3
    • 显卡: RX 7900 XTX 24GB × 2
    • PCIe: 3.0 x16

    目前两张显卡不支持 P2P,跨卡通信需要经过主机内存。X99 平台的 PCIe 3.0 和 DDR3 带宽可能也会限制双卡性能。

    二、目前的实际使用体验

    1. Strata 双卡

    测试下来双卡性能提升不明显,感觉没有充分发挥两张 7900 XTX 的性能。

    2. SGLang + TP=2 + DFlash2

    目前性能表现最好,生成速度可以达到 100+ token/s,但双卡满载时功耗和散热压力比较大。

    3. Next 无限制版

    最近发现 Next 的实际使用体验不错,虽然生成速度只有几十 token/s,但能完成很多破解能下载任务无限制比较方便。

    三、目前考虑的方案

    方案 显存配置 主要特点
    A:保留双 7900 XTX 24GB + 24GB 已有较高双卡性能,保留现有配置
    B:换一张 R9700 32GB + 24GB 单卡显存更大,保留双卡扩展空间
    C:转向 R9700 单卡 32GB 牺牲总显存容量,降低双卡满载需求

    目前更倾向于方案 B,但有几个问题比较纠结:

    1. 性能: R9700 相比 7900 XTX,实际 LLM 推理性能是提升还是下降?尤其是 Prefill 和 Decode 阶段。
    2. 显存: 32GB 单卡相比 24GB,实际能拓展多少模型选择空间?对于 27B、32B 以及更大参数量的量化模型,意义有多大?
    3. 异构双卡: R9700 + 7900 XTX 的组合能否有效利用 56GB 总显存?在没有 P2P 的情况下,实际性能会受到多大影响?
    4. 平台瓶颈: X99 + PCIe 3.0 是否已经明显限制双卡 TP 的性能?升级显卡还是升级平台更有意义?
    5. 实际需求: 如果主要用于个人对话、代码辅助、知识库 RAG 等场景,几十 token/s 是否已经足够?继续追求更高生成速度的收益还有多大?

    四、想听听大家的建议

    现在主要纠结的不是部署问题,而是性能、显存容量和实际需求之间的取舍。

    如果是你们,会继续保留双 7900 XTX,还是换一张 R9700 组成 32GB + 24GB?

    尤其想听听实际使用过 R9700 的朋友分享 Prefill、Decode 性能,以及异构双卡的测试结果。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组