跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. V100双卡16GB本地部署

V100双卡16GB本地部署

已定时 已固定 已锁定 已移动 AI硬件
v100x99多卡部署
2 帖子 2 发布者 378 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • llf5916-sudoL
    llf5916-sudoL
    llf5916-sudo
    编写于 最后由 编辑
    #1

    硬件清单
    CPU 2673 V4 闲鱼:40元
    主板:华硕X99WS-e/ipmi 闲鱼:650元
    内存:海盗船DDR4 8G8 185/条 8条共计:1480元
    显卡:由于主板带集显,所以不需要亮机卡V100 16GB sxm2两块,我买的比较早 700/块带风冷散热带转接板,
    但是风冷噪音太大,更换两个240水冷,每块贴了150,合计700
    2+300=1700元
    机箱:50元闲鱼买的
    电源:850w金牌电源 闲鱼:150
    共计:4070元

    组装过程:首先是8内存点亮,因为是普条,而且又是X99这种老板子,点亮8内存真的是非常折腾,我一开始收到硬件之后就装机,结果内存非常神奇的只能识别32GB或者48GB,偶尔能够识别到64GB,我一度认为是主板坏了,直到我把主板拿下来测试,完整的识别了64GB,一但装回机箱,就又变成了48/32GB,直到我注意到机箱的几个螺柱,似乎是刚好顶在了内存下面的几个触点,我这才发现多余的螺柱要拆掉,拆掉之后内存总算是正常识别了。 至此硬件全部正常识别。下面就是BIOS

    在BIOS中,必须要打开的是above 4g,当我打开了above4g之后,开机就只能直接进系统了,bios界面就彻底不显示了,解决方法,关闭cms。 还有就是 要关闭安全启动,然后删除pk码,不然在安装显卡驱动的时候会有麻烦,所以在BIOS这里,切记关闭CMS,关闭安全启动。我用的是乌班图系统。

    最后就是IPMI,这个板子的IPMI如果要远程查看,需要java,但是java在新系统上都没了。要用win7或者windows xp。。。。。。 我是自始至终哪有用上这个功能。

    硬件组装好开机之后就是喜闻乐见的折腾环节,我部署的是stratr的q3s ,上下文拉到262K,输出平均在50tokens左右,但是这个不能破甲,我更需要模型能够和我聊的肆无忌惮,strata的破甲模型,并不支持双卡,只能单卡,速度大约是25token左右,而且智商还有点低,所以我放弃了strata,装了qwen的3.8 27b破甲模型,但是tokens非常低,大约是15-20token,感觉太慢了,这个时候看到了1cat的项目,专门给V100优化了,能够跑道45TOkens 就是上下文只能128,但是至此,模型的智商和token输出已经足够了。

    接入了harness,执行任务,跑了个入侵的过程,给了它一个服务器IP,它用40分钟做完了入侵。感觉够用。

    生命不息,折腾不止,其实装出来也没什么大用,就是自己装出来,很有成就感,看到模型跑起来,就很满足。 男人的快乐,可能就在这里吧

    1 条回复 最后回复
    3
    • terryT
      terryT
      terry
      易有太极
      编写于 最后由 编辑
      #2

      这个主板牛逼啊,单路还是双路?8通道?

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0

      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

      有了你的建议,这篇帖子会更精彩哦 💗

      注册 登录
      回复
      • 在新帖中回复
      登录后回复
      • 从旧到新
      • 从新到旧
      • 最多赞同


      • 登录

      • 登录或注册以进行搜索。
      • 第一个帖子
        最后一个帖子
      0
      • 版块
      • 最新
      • 标签
      • 热门
      • 用户
      • 群组