跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
Name ErrorN

Name Error

@Name Error
德高望重 劳动模范
取消关注 关注
关于
帖子
62
主题
2
分享
0
群组
2
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @wayne-pan 国庆玩儿去了,有点慢,最近还有点事在忙🤔
    后期顶多换显卡,至少4年内主板不会过时。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    长城黑匣子 3200BL ¥2850

    电源本来想买 迎广 G3000W-FM / 海韵 PX-3200。可惜还没上市


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @Terry 开发个二手交易板块吧,收押金都行


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @applejuice 慢慢来,这是生产力工具,现在需要降低思考成本。只要思考成本足够低,很多因为投入不划算而放弃的事,就又可以去去做了。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @applejuice 我联系的 bykski,把 alphacool 的设计文件给他们了。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    R9700 水冷头资料

    # 名称 官方链接 大小
    1 英文 datasheet download.alphacool.com 726 KB
    2 装配手册 download.alphacool.com 20 MB
    3 STEP 模型 3D 查看器 · STEP 直链 471 KB
    4 官方产品图压缩包 download.alphacool.com 923 KB

  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @wayne-pan 我也是在经济、性能、扩展性上进行反复决策。
    如果是多卡,建议还是上水冷,目前我还在定制r9700冷头,有消息了发出来。
    硬盘直接用普通m2就行了,不影响,买二手组raid就行了。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    可以在论坛卖东西吗?

    image.jpeg


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    💦 水贴

    买了三张板,一张废板,一张二手,一张新板。
    不在家里,废板得让老婆帮忙装机练手。
    是的,这些都得一个小白来干。

    IMG_3059.JPG


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @CHIA-AN-YANG 需求是穩定性跟擴充性,這樣才會有更多選擇跟實驗方向,而且要能同時測試 NVIDIA 和 AMD 顯卡。PCIe 5.0 是硬性前提。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @applejuice 我也想买蓝宝石……


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @applejuice 品牌和地区不一样,我买的瀚凯r9700,¥10600一张。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    这个价位,进可打 70B 模型,退可多卡并发 27B,在钱包和性能上还有其他选择吗?

    核心规格表

    项目 1× RTX PRO 5000 72GB 4× R9700 32GB
    当前美国 GPU 价 约 $9,999.99,30 天低价约 $9,209.99 约 4×$1,700 = $6,800
    显存 72GB GDDR7 ECC 4×32GB=128GB 聚合,非统一池
    单卡/聚合带宽 1,344GB/s 4×640GB/s=2,560GB/s 理论聚合
    FP8 dense 官方未公布;按 FP4 稀疏 2,064 推算约 516 TFLOPS,未确认 383 TFLOPS/卡,4 卡理论 1,532 TFLOPS
    FP8 sparse 官方未公布;按惯例推算约 1,032 TFLOPS,未确认 766 TFLOPS/卡,4 卡理论 3,064 TFLOPS
    AI 峰值 2,064 AI TOPS,FP4 稀疏口径 4×1,531=6,124 INT4 TOPS 理论口径
    FP32 约 65 TFLOPS 4×47.8=191.2 TFLOPS 理论口径
    功耗 300W 1,200W GPU,整机常需 1600W-2000W+
    安装 双槽单卡 4 张双槽卡,通常需 8 槽和 HEDT/服务器平台
    软件 CUDA、CUDA-X、DCC、AI 生态最成熟 ROCm 已可用,但多卡、RCCL、内核和虚拟化调优更多
    多卡效率 不涉及 TP2 对 8B 约 1.7 倍;14B TP2→TP4 约 1.4 倍

    FP8 关键结论

    • 单卡 FP8 纸面算力:RTX PRO 5000 72GB 可能略高,约比单张 R9700 高 30% 左右,但这是根据 FP4 推算,NVIDIA 官方未确认。
    • 四卡 FP8 聚合纸面算力:4×R9700 约为 1×RTX PRO 5000 的 3 倍。
    • 实际 FP8 推理不会线性达到 4 倍。PCIe 通信、张量并行、量化格式、Attention 内核和批量大小都会影响。
    • 单用户、小模型、模型能塞进 72GB:1×RTX PRO 5000 72GB 通常体验更好,因为单卡带宽高、无多卡通信,CUDA 支持也更省事。
    • 70B FP8、长上下文、多并发、120B MoE:4×R9700 更合适。70B FP8 权重本身接近 70GB,RTX 72GB 几乎没有 KV cache 余量,而 128GB 聚合显存更从容。

    最终判断

    • 看 FP8 理论算力:4×R9700 总量明显更高。
    • 看单卡 FP8 效率:1×RTX PRO 5000 72GB 可能更强,但官方无 FP8 数字,只能按架构推算。
    • 看实际部署:72GB 够用选 RTX PRO 5000;需要 >72GB 或大并发选 4×R9700。
    • 4×R9700 的 FP8 优势真正成立的前提是软件能正确使用 4 卡并行,否则 128GB 不会自动合并。

    来源:NVIDIA 官方数据表、AMD R9700 官方规格、Newegg 72GB 当前价、GPU PRIX R9700 价格。RTX 5000 的 FP8 数值为推算,标注未确认;AMD 384/766 TFLOPS 为官方口径。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @张光璞 pro5000 不可能比 4张 r9700 强。

    4张 r9700 虽然麻烦了点,空间、电源、散热更复杂,价格上 4张 r9700 是 ¥42400。

    美国 9 月底实时低价下,4× R9700 比 1× RTX PRO 5000 48GB 便宜约 21%;

    r9700 多卡不是线性 4 倍。公开 4 卡 R9700 测试里,8B 模型 TP1→TP2 约 1.7 倍,TP2→TP4 基本不再增长;14B 模型 TP2→TP4 约 1.4 倍。四卡提升主要来自容量和多并发,不是单用户延迟。

    我觉得要跑 100GB 级显存模型,且接受 Linux/ROCm/多卡维护:4× R9700

    如果不买2张以上的 pro5500,我都不会碰 n卡了。不想当冤大头。毕竟本地模型带来的经济效益无法支撑采购更多的 n 卡。

    r9700够了。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @张光璞 7900XTX 显存速度虽然快,而且便宜【现在也涨价了,3000多能买到我觉得还行】,但是可能真没有r9700好,因为不支持fp8啊,这个因素好像还是不能忽视。

    我用朋友电脑混插 7900xtx 和 r9700 简单尝试了张量并行运算,并不理想。混插并不适合运行同一个模型。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    我在淘宝上有看到 pcie5.0x16 的外置显卡坞,好厉害,17000一个,

    IMG_2928.JPG
    IMG_2929.JPG


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    终于找到机箱了!

    https://www.in-win.com/cn/ibuild-ishare/dubili

    

    image.jpeg


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @jlist 7900 XTX 沒支援 FP8,搞不好就是這個原因。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    @applejuice 我联系了 Bykski,他们可以定制 r9700 水冷头,全网都没有成品水冷头可以买,7900xtx有成品水冷头。


  • 【直播】4卡R9700从采购到调试
    Name ErrorN Name Error
    AI硬件 r9700 多卡部署

    全网首款 r9700 水冷头,正在定制生产中。

    成本预估 ¥1000 一个。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组