跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 双路Z8G4+4组V100显卡坞折腾手记

双路Z8G4+4组V100显卡坞折腾手记

已定时 已固定 已锁定 已移动 AI硬件
v100服务器多卡部署
1 帖子 1 发布者 20 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Jacky WangJ
    Jacky WangJ
    Jacky Wang
    编写于 最后由 Jacky Wang 编辑
    #1

    想捡垃圾进图吧,半个网吧带回家...

    为了满足以下需求:

    • 并行跑多个harness (20+),每个都需要较大的工作区。我现在丐版mac-mini已经存储94%满了...
    • 作为编译农场,做Android (AOSP)、Chrome、还有一些android/linux包的编译工作。
    • 尝试本地大模型,加深对于CUDA的理解
    • 需要支持远程登录 - 因此我选了xubuntu 26.04.1,这样方便远程rdp+xfce。

    我决定自己的homelab里组一台机器,现在的配置是这样的:

    【高性能工作站 - 约¥30000元,已全到货还没启动过,下一步是测试全机兼容性】

    • 准系统:HP Z8G4 1700w高电版 它的电缆插头是特殊的,和1450w版本不一样
    • CPU:Xeon 铂金二代 8272CL x2 未测兼容性 - 这个可能要高VCC - 希望不要翻车。我不小心买了3块... 后边如果实在有兼容性问题,我就换8269CY。
    • 内存:DDR4-ECC-2666 16GB x12 现在内存是在是太贵了!想买32GB的没舍得下手。
    • 傲腾内存:PMEM100 128GB x12 这个是本案的匠心之一,成不成的要看实测了。傲腾内存的速度是一般内存的1/3,但胜在价格便宜量又大。其实如果仔细来算的话,它的速度是不如DDR3的...BIOS里设定成app-direct,后边软件部分有说明。
    • 工作存储盘:Intel P4618 6.4T AIC 这个卡会出来两个3.2T的盘,我计划在BIOS里用Intel自家的RST做个RAID0,这样可以充分发挥出实力。
    • 数据存储盘:西部数据HC620 14T HDD x7 HC620是一块HM-SMR,很难驾驭,也因此价格极为便宜。可以把它想象为一盘更高效的磁带。这里需要做dm-zone (见下)。7个盘在ZFS里做RAIDZ1。工作站原生支持4块硬盘,另外3块是把工作站的双光驱位做了个2转3硬盘笼子 - 但原位深度很短,所以笼子顶在了机箱外边,不太美观。
    • 数据存储盘的缓存:Intel D4800x 1.5T 魔改开通双通道连PCIE 傲腾SSD本身延迟极低,正好拿来做前边HDD的cache,合在一块儿可以当做Hybrid HDD来看啦。分配是48GB/HDD,剩下的正好做ZFS的special_vdev存小文件,同时ZIL/SLOG。
    • 亮机卡:Nvidia P1000, 4G VRAM 反正不用额外插电
    • 网卡:Intel AX210 _对,我这里就是暂时没接网线,还得WIFI... 我抓紧改造吧... _

    【高性能算力卡坞 - ¥9500,已到货但还未点亮测试】

    • 算力卡:V100 16G SMX x4 最大的问题是CUDA支持版本低,对于低精度的算子支持差。我也想买32G的啊,可惜太贵了。
    • 主板、散热、机箱:4路全连通NVLink、每卡360冷排散热、机箱也是定制机箱 NVLink算个亮点吧。
    • 连接方式:每个GPU产出一个PCIE3x8,一共4路。两根一组连接到主板上的两个PCIEx16直通卡上。BIOS里需要把x16设置为x8x8的模式。

    朋友们,货都到了,也装得差不多了。即将是点亮的时刻,让我们一起拭目以待吧... 后边如果顺利的话会进一步更新软件的设定部分:

    • HHDD的具体配置 (dm-zone + ZFS) 和性能
    • 傲腾内存为DRAM做tiered LRU热备 (kmem) 和性能
    • Strata + 4卡V100 跑deepseek-v4.1-flash (1017) 目前的strata是不支持deepseek的,好在有开源fork;目前的deepseek是不支持4卡并行的,好在strata里有个参考实现... 我打算vibe coding一下,看能不能支持后,可以反馈回社区。

    (未完待续)

    1 条回复 最后回复
    0

    你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

    厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

    有了你的建议,这篇帖子会更精彩哦 💗

    注册 登录
    回复
    • 在新帖中回复
    登录后回复
    • 从旧到新
    • 从新到旧
    • 最多赞同


    • 登录

    • 登录或注册以进行搜索。
    • 第一个帖子
      最后一个帖子
    0
    • 版块
    • 最新
    • 标签
    • 热门
    • 用户
    • 群组