跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
suboyangS

suboyang

@suboyang
取消关注 关注
关于
帖子
28
主题
1
分享
0
群组
0
粉丝
0
关注
1

帖子

最新 最佳 有争议的

  • 双R9700 P2P+双卡TP 方案总结
    suboyangS suboyang
    AI硬件

    @Xiaote

    ACS 没关? 这个是什么?


  • 请教大神们显卡的选择
    suboyangS suboyang
    AI硬件

    https://lcz.me/topic/1938


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    @laobenxiong
    不支持resize BAR


  • 双R9700 P2P+双卡TP 方案总结
    suboyangS suboyang
    AI硬件

    双R9700 如果要实现双卡TP, 需要主板支持必须技术如下:

    2个PCIE3.0 *16 直通CPU(X99 系列主板) 或者
    拆分成2个PCIE4.0 *8(个别消费级主板)
    Above 4G Decoding = ON
    Resizable BAR = ON
    CSM = OFF

    2个PCIE3.0*16 直通CPU 可以实现root complex P2P
    mermaid-diagram.png
    mermaid-diagram.jpeg

    消费级主板确认两个 x8 槽都接 CPU 可以支持拆分,主板的第二个长插槽实际接芯片组不可以。

    但是不管是消费级CPU 还是E5v3/v4, 都必须支持Resizable BAR = ON, 否则 GPU不可能认识到另一个GPU的地址。

    现在可以确认的主板有
    resize BAR功能的是这些型号:X99-4MF 4MT 4MTPLUS 4MFPLUS
    8D3 8D4 AD3 AD4 BD3 BD4
    F8D T8D F8DPLUS M-F M-T
    P4T P4F PD3 PD4

    R9700方案
    https://www.primeline-solutions.com/media/categories/server/nach-gpu/amd-radeon-ai-pro-r9700/amd-radeon-ai-pro-r9700-rocm-pytorch-environment-setup-guide.pdf

    框架推理方案
    https://github.com/Eliovp-BV/paiton-vllm-plugin
    https://github.com/StevenChenSE/sglang/tree/gfx1100-support#chinese
    https://github.com/magiccodingman/vllm-radiance
    https://github.com/mattbucci/2x-R9700-RDNA4-GFX1201-sglang-inference

    模型选择

    image.jpeg

    跨 Root Port P2P 的完整实战记录
    https://lcz.me/topic/1925


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    客服传话:
    加入了resize BAR功能的是这些型号:X99-4MF 4MT 4MTPLUS 4MFPLUS
    8D3 8D4 AD3 AD4 BD3 BD4
    F8D T8D F8DPLUS M-F M-T
    P4T P4F PD3 PD4

    最新带ARGB的TF T8 也支持ReBAR


  • X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P:从内核、RCCL 到 SGLang Qwen3.8 实战
    suboyangS suboyang
    AI硬件 r9700 x99 多卡部署

    @fcme 不是,搞本地模型不就是为了干大活,24小时推理着。不过精度差的不多。
    Qwen3.8 27B MXFP4 + DFlash2 比 Qwen3.8 27B FP8 精度,

    image.jpeg

    云端模型真心跑不起,每个月100亿token


  • X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P:从内核、RCCL 到 SGLang Qwen3.8 实战
    suboyangS suboyang
    AI硬件 r9700 x99 多卡部署

    @fcme 精度,精度,版主是FP8,官方精度。
    Qwen3.8 27B MXFP4 + DFlash2 比 Qwen3.8 27B FP8 精度少一半


  • X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P:从内核、RCCL 到 SGLang Qwen3.8 实战
    suboyangS suboyang
    AI硬件 r9700 x99 多卡部署

    内核应该用 kernel 7.2.7,

    还要使用Triton
    image.jpeg


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    @张光璞 说:

    99主板好像没有ReBAR

    X99主板用ReBAR,需要打BIOS补丁的。所以才去买华南金牌X99主板,他们把补丁已经打好了。ReBAR 只能在UEFI开启,传统BIOS不支持。


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    @张光璞
    amd 双卡P2P 跑起来, 你是值得哪个AMD CPU?


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    @张光璞
    你说的哪个平台,把链接发给我。


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    双路跑 双卡方案不靠谱,双路跑的都是4卡方案。而4卡方案,才会选择PCIE switch.

    双卡CPU P2P,和用pcie switch GPU p2p 性能没区别啊。


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    @张光璞
    一直想问,你为什么不换一个主板搞呢?非得用双路 CPU?不管是论坛里,还是github 都是单CPU


  • X99 不能P2P让我很难受 。 买Pcie switch(260925DELL T7910 已判:死缓,原因:拿不到大Bar )
    suboyangS suboyang
    AI硬件 x99 ai-pro-r9700 多卡部署

    @hippo

    是all reduce的速度,延迟低,但是双卡pcie switch 收益极小。


  • 我之前也以为 X99 基本没法搞 P2P,不过最近在 E5-2697A v4 + X99 + 双 R9700 上实际折腾下来,已经把跨 Root Port 的 Direct P2P 跑通了。
    suboyangS suboyang
    AI硬件 x99 r9700 多卡部署

    @PhoenixRise2026

    谢谢等你后续,稳定后,我也整一套,主要是双卡R9700跑tcclaviger/Qwen3.8-27B-DFlash2-FP8 就是怕性能太低。


  • 小白,向各位大神请教关于R9700双卡TP和主板PCIe 5.0 x16的问题。
    suboyangS suboyang
    随便聊聊 r9700 多卡部署

    @Magic629

    主板要支持
    双PCIE3.0*16 直通CPU
    Above 4G Decoding = ON
    Resizable BAR = ON
    CSM = OFF


  • 小白,向各位大神请教关于R9700双卡TP和主板PCIe 5.0 x16的问题。
    suboyangS suboyang
    随便聊聊 r9700 多卡部署

    其实X99 双PCIE就行,GPU通信消耗不大,主要看整体架构,128G DDR4 四通道要比DD5 双通道有价值的多。


  • 小白,向各位大神请教关于R9700双卡TP和主板PCIe 5.0 x16的问题。
    suboyangS suboyang
    随便聊聊 r9700 多卡部署

    image.jpeg

    铭瑄销售和我说支持,但我也没买过,你可以问问。


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    suboyangS suboyang
    AI硬件 mac apple-m5 视频生成

    关键Qwen3.8-27B-MLX-6bit 没意义啊,这么低精度,干活干一会就累了。


  • 我之前也以为 X99 基本没法搞 P2P,不过最近在 E5-2697A v4 + X99 + 双 R9700 上实际折腾下来,已经把跨 Root Port 的 Direct P2P 跑通了。
    suboyangS suboyang
    AI硬件 x99 r9700 多卡部署

    @johnnybegood

    前几天找铭瑄要了一下可以PCIE 拆分的产品,也可以
    image.jpeg

    不用P2P,可以share-memory. 这个双卡7900xtx 也是share-memory

    https://github.com/StevenChenSE/sglang/tree/gfx1100-support#chinese

    南桥芯片的速度慢,其实也能TP,就是效率太低。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组