跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
zhi kongZ

zhi kong

@zhi kong
取消关注 关注
关于
帖子
8
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 【求助】不想碰3090矿卡,7900XTX双卡玩本地AI靠谱吗?后面能加到4卡6卡8卡吗?
    zhi kongZ zhi kong

    省流:

    3090 24G 海鲜市场全是矿,狗东自营又没货,不敢赌。

    想先上 7900XTX 双卡 48G,跑 Qwen 70B 量化。

    怕以后加 4/6/8 卡时,没 NVLink + PCIe 通道 + ROCm 多卡把我劝退。

    先叠甲:不是纯小白,Linux/Docker 都行,命令环境能折腾。但真不想天天跟 ROCm 兼容性对线。

    现在卡在这:
    3090 便宜是便宜,但矿卡风险太大,坏了没保直接裂开。
    7900XTX 全新有保,24G,价格也能接受。最近 B 站/论坛确实有不少 ROCm 跑 AI 的教程,llama.cpp、vLLM 好像都能玩。
    所以想先搞双卡,48G 显存跑 70B Q4/Q3,日常推理应该够?

    但我最纠结的是升级:
    双卡 → 4卡 → 6卡 → 8卡,7900XTX 到底现不现实?

    担心点:

    PCIe 通道:消费级平台直连通道就那点。双卡 x8/x8 还行,4 卡怎么分?看帖子说 ROCm 还挑槽位,不是 CPU 直连可能直接报错。

    没 NVLink:卡间通信全走 PCIe。双卡能忍,4 卡以上 AllReduce 会不会慢成狗?vLLM 多卡效率能看吗?

    ROCm 多卡:CUDA 那边插上就能跑,ROCm 这边版本对不齐就开不了。双卡我都怕折腾,4 卡 8 卡是不是直接变运维地狱?

    物理+钱包:7900XTX 三槽卡,4 张机箱都塞不下。主板、电源、线程撕裂者/EPYC 平台,一套下来是不是不如租云?

    想求真实经验:

    双卡 7900XTX 跑 70B 量化,实际 token/s 多少?能日常用吗?

    有人真跑过 4 卡 7900XTX 做推理吗?消费级平台是不是没戏?

    6/8 卡是不是必须服务器板 + PCIe switch?那成本对比二手 A100/MI300X 咋样?

    双卡是不是普通玩家天花板?再往上不如直接云?

    更高端的显卡圈,全是神仙打架不是我能比的起的。
    有实际踩过坑的大佬求指点,云评测也欢迎,轻喷。
    现在就是不上不下,难受。

    AI硬件 7900xtx 多卡部署 rocm

  • 【求助】不想碰3090矿卡,7900XTX双卡玩本地AI靠谱吗?后面能加到4卡6卡8卡吗?
    zhi kongZ zhi kong

    @kos-or

    @kos-or 说:

    @zhi-kong said:

    7900XTX体积相对较大,支持的主板较少,可能最多只能×4 / ×6

    可以參考上面的 5090 的8卡組裝方法, 這個伺服器機箱我在taobao 上看過, 應該可以找到,
    顯卡間距 記得先量測一下, 否則買了又退

    谢谢佬,前期一定是先把平台买好,先×2玩,后期慢慢加卡,很有帮助

    AI硬件 7900xtx 多卡部署 rocm
  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组