跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
9

909

@909
取消关注 关注
关于
帖子
35
主题
9
分享
0
群组
0
粉丝
0
关注
4

帖子

最新 最佳 有争议的

  • 请教:双 7900 XTX 有必要出掉一张,换成 32GB 的 R9700 吗?
    9 909
    AI硬件 7900xtx r9700 多卡部署

    @farmer-node 双卡跑视频怎么样呀


  • 请教:双 7900 XTX 有必要出掉一张,换成 32GB 的 R9700 吗?
    9 909
    AI硬件 7900xtx r9700 多卡部署

    @johnnybegood |

    刚查了下 9700现在都涨价到1.4w了, 我这两张7900xtx 加起来才1.2


  • 请教:双 7900 XTX 有必要出掉一张,换成 32GB 的 R9700 吗?
    9 909
    AI硬件 7900xtx r9700 多卡部署

    双 7900 XTX 有必要换一张 32GB 的 R9700 吗?

    最近一直在折腾 AMD 双卡本地大模型,想听听各位大佬的意见:双 7900 XTX 是否有必要出掉一张,换成 32GB 的 Radeon AI PRO R9700?

    一、目前硬件配置

    • CPU: E5-2696 v4
    • 主板: X99-TF GAMING V3.0
    • 内存: 128GB DDR3
    • 显卡: RX 7900 XTX 24GB × 2
    • PCIe: 3.0 x16

    目前两张显卡不支持 P2P,跨卡通信需要经过主机内存。X99 平台的 PCIe 3.0 和 DDR3 带宽可能也会限制双卡性能。

    二、目前的实际使用体验

    1. Strata 双卡

    测试下来双卡性能提升不明显,感觉没有充分发挥两张 7900 XTX 的性能。

    2. SGLang + TP=2 + DFlash2

    目前性能表现最好,生成速度可以达到 100+ token/s,但双卡满载时功耗和散热压力比较大。

    3. Next 无限制版

    最近发现 Next 的实际使用体验不错,虽然生成速度只有几十 token/s,但能完成很多破解能下载任务无限制比较方便。

    三、目前考虑的方案

    方案 显存配置 主要特点
    A:保留双 7900 XTX 24GB + 24GB 已有较高双卡性能,保留现有配置
    B:换一张 R9700 32GB + 24GB 单卡显存更大,保留双卡扩展空间
    C:转向 R9700 单卡 32GB 牺牲总显存容量,降低双卡满载需求

    目前更倾向于方案 B,但有几个问题比较纠结:

    1. 性能: R9700 相比 7900 XTX,实际 LLM 推理性能是提升还是下降?尤其是 Prefill 和 Decode 阶段。
    2. 显存: 32GB 单卡相比 24GB,实际能拓展多少模型选择空间?对于 27B、32B 以及更大参数量的量化模型,意义有多大?
    3. 异构双卡: R9700 + 7900 XTX 的组合能否有效利用 56GB 总显存?在没有 P2P 的情况下,实际性能会受到多大影响?
    4. 平台瓶颈: X99 + PCIe 3.0 是否已经明显限制双卡 TP 的性能?升级显卡还是升级平台更有意义?
    5. 实际需求: 如果主要用于个人对话、代码辅助、知识库 RAG 等场景,几十 token/s 是否已经足够?继续追求更高生成速度的收益还有多大?

    四、想听听大家的建议

    现在主要纠结的不是部署问题,而是性能、显存容量和实际需求之间的取舍。

    如果是你们,会继续保留双 7900 XTX,还是换一张 R9700 组成 32GB + 24GB?

    尤其想听听实际使用过 R9700 的朋友分享 Prefill、Decode 性能,以及异构双卡的测试结果。


  • 2 *7900 XTX vllm TP2, 8并发 476 tok/s,256K *4 ,157tok/s
    9 909
    LLM讨论区 7900xtx vllm 多卡部署

    你买的这种pcie3.0延长线不会报错吗,我买的这种线运算老是报错啊!! 我就换成pcie4.0得了


  • 各位大佬7900xtx 双卡方案目前哪个好?strata还是sglang?
    9 909
    AI硬件 7900xtx strata sg-lang

    @terry 看来我得多加几个风扇,sglang 双卡跑qwen3.8 27b速度真的很快关闭思考比线上模型还快感觉,strata只能是单卡水平


  • 各位大佬7900xtx 双卡方案目前哪个好?strata还是sglang?
    9 909
    AI硬件 7900xtx strata sg-lang

    @坤坤 那我直接放个大风扇吹,我还有好多机箱风扇没用,看来用不到了,机箱也是新买得我都没用了,用开放式得了,我让AI测试下,感谢, 我感觉我很少用本地模型,不知道大家都用来干嘛,我暂时接到项目力了,看看飞书表格数据啥得


  • 各位大佬7900xtx 双卡方案目前哪个好?strata还是sglang?
    9 909
    AI硬件 7900xtx strata sg-lang

    7900 XTX 双卡方案咨询

    各位大佬,想请教一下 7900 XTX 双卡跑大模型,目前方案选哪个比较好?

    1. 双卡推理框架

    目前主要在看:

    • Strata
    • SGLang

    2. 显卡温度

    另外发现我的 7900 XTX 满载时温度大概在 90℃ 左右,不知道这个温度是否正常。

    目前环境:

    • 开放式机箱
    • 单卡功耗墙限制在 300W
    • 双 7900 XTX
    • 主板:X99-TF
    • 内存:128GB DDR3

    3. 噪音 / 电感啸叫

    这卡实际跑起来倒是真的挺安静,机器放在 3 米开外基本听不到什么声音。

    一开始其中一张卡有比较明显的电感啸叫,但用了一段时间之后,好像又基本听不到了,不知道这种情况正不正常。

    4. 电源

    目前用的是 1350W 电源。

    双 7900 XTX 都限制在 300W,再加上 X99 平台,不知道 1350W 会不会偏小?有没有必要上更大的电源?

    想听听各位跑过 7900 XTX 双卡 / AMD 多卡大模型的大佬分享一下经验。

    85c90906843f3626e97a924fa08c96e9.jpg


  • 替代MAC MINI 。全年无休全新超低价小主机 。
    9 909
    AI硬件 mac

    我用的零刻ser8 8845hs 32g 做小主机,感觉实用性比macmini好点内存大,去年不到3000买的,那时macmini国补才2400多


  • 双卡7900xtx,主板选择,x99-TF 或 X99-8D3 ?
    9 909
    AI硬件 7900xtx x99 多卡部署

    我本来用的x99-tf 后来又买了一张卡,AI告诉我这个主板只有一条插槽能以满速 PCIe x16 运行,我就又买了X99-8D3(卖家送两个CPU和散热器才399好便宜),但是当我把两张显卡都插上X99-TF的时候显示两张卡都是X16的通道。这下纠结要不要换主板了

    现在我有了两块主板,我要用哪一个呢.... X99-TF装机箱里,两张显卡是挨着的都抱一起了.....

    我于是又在想要不要买个开放式机架.... 我现在用的长城铁幕那个论坛网友推荐的

    对了大家功耗墙都设置的多少呀,AI说设置了280W,确实比300w安静一点

    装了飞哥双卡配置试试,好像项目又更新了


  • 7900XTX双卡TP,SGLang多并发飞速响应,本地AI神卡最后短板被补齐!配套主板和内存如何选择?
    9 909
    AI硬件 7900xtx sg-lang 多卡部署

    @terry
    好的感谢锤哥回复!


  • 7900XTX双卡TP,SGLang多并发飞速响应,本地AI神卡最后短板被补齐!配套主板和内存如何选择?
    9 909
    AI硬件 7900xtx sg-lang 多卡部署

    我只有4x32g ddr3 这个双路主板,插4根内存条可以吗


  • 京东自营上架二手3090,标价8699,近期有自建本地AI算力的玩家可以给东哥走个面,单卡或者双卡TP都很有CP值,比7900XTX新卡更好!
    9 909
    AI硬件 rtx3090 多卡部署

    双卡7900xtx,有没有主板推荐啊,目前用的X99-TF,但是只有一个pcie3.0 x16,影响吗


  • 魔改SGLANG支持7900XTX 双卡TP TTFT <1s 平均TG 80-100! 4并发TG200/sec
    9 909
    AI硬件 7900xtx sg-lang 多卡部署

    @flyer666
    我闲鱼买的两张蓝宝石白金1.2w,都是在保两年半左右


  • 魔改SGLANG支持7900XTX 双卡TP TTFT <1s 平均TG 80-100! 4并发TG200/sec
    9 909
    AI硬件 7900xtx sg-lang 多卡部署

    @terry
    我上闲鱼淘的都是6000左右,在保还有接近3年蓝宝石白金超白金都有


  • 7900xtx 蓝宝石 白金款抖音领券6000-780 ,券后价格5220。低价啊,兄弟们!
    9 909
    AI硬件 7900xtx

    卧槽,现在涨价到8000了,我买的二手都6000


  • Hermes Agent今天搬到了它的专属办公室——Radxa O6n/48G开发板
    9 909
    AI硬件 hermes

    那只有几t/s,回复岂不是特别慢


  • 好好珍惜自己手上的N卡 + A卡 (因為現在市場買氣旺盛 所以補上A卡)
    9 909
    AI硬件 nvidia

    @laobenxiong
    你是单卡7900xtx还是双卡,我也想着用两张


  • 好好珍惜自己手上的N卡 + A卡 (因為現在市場買氣旺盛 所以補上A卡)
    9 909
    AI硬件 nvidia

    @kos-or
    现在只有在用LLM,也想试试视频这些,然后现在感觉有点慢 只有30多t/s,然后双7900xtx和双r9700哪个性价比高,或者买N卡


  • 好好珍惜自己手上的N卡 + A卡 (因為現在市場買氣旺盛 所以補上A卡)
    9 909
    AI硬件 nvidia

    现在划算买什么卡,是时机吗,手上只有7900xtx


  • 7900xtx一般都用来做什么,我部署了qwen3.8 27b,但是还是在用dpv4 flash 线上模型。
    9 909
    AI硬件 7900xtx qwen-27b

    7900xtx一般都用来做什么,我部署了qwen3.8 27b,但是还是在用dpv4 flash 线上模型。
    是不是我用的方式不对阿,我平时就是用v4 flash 和reasonix 写点小工具维护项目。
    其他的我也没有弄过视频阿啥的
    配置是论坛里有个大佬的发的抄了一下 73t/s那个帖子,然后装了harness 用本地模型试了下,感觉有点慢效果也不怎么好,就又用回v4flash 了。
    大家都是怎么用的?

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组