跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
llf5916-sudoL

llf5916-sudo

@llf5916-sudo
取消关注 关注
关于
帖子
2
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • V100双卡16GB本地部署
    llf5916-sudoL llf5916-sudo
    AI硬件 v100 x99 多卡部署

    硬件清单
    CPU 2673 V4 闲鱼:40元
    主板:华硕X99WS-e/ipmi 闲鱼:650元
    内存:海盗船DDR4 8G8 185/条 8条共计:1480元
    显卡:由于主板带集显,所以不需要亮机卡V100 16GB sxm2两块,我买的比较早 700/块带风冷散热带转接板,
    但是风冷噪音太大,更换两个240水冷,每块贴了150,合计700
    2+300=1700元
    机箱:50元闲鱼买的
    电源:850w金牌电源 闲鱼:150
    共计:4070元

    组装过程:首先是8内存点亮,因为是普条,而且又是X99这种老板子,点亮8内存真的是非常折腾,我一开始收到硬件之后就装机,结果内存非常神奇的只能识别32GB或者48GB,偶尔能够识别到64GB,我一度认为是主板坏了,直到我把主板拿下来测试,完整的识别了64GB,一但装回机箱,就又变成了48/32GB,直到我注意到机箱的几个螺柱,似乎是刚好顶在了内存下面的几个触点,我这才发现多余的螺柱要拆掉,拆掉之后内存总算是正常识别了。 至此硬件全部正常识别。下面就是BIOS

    在BIOS中,必须要打开的是above 4g,当我打开了above4g之后,开机就只能直接进系统了,bios界面就彻底不显示了,解决方法,关闭cms。 还有就是 要关闭安全启动,然后删除pk码,不然在安装显卡驱动的时候会有麻烦,所以在BIOS这里,切记关闭CMS,关闭安全启动。我用的是乌班图系统。

    最后就是IPMI,这个板子的IPMI如果要远程查看,需要java,但是java在新系统上都没了。要用win7或者windows xp。。。。。。 我是自始至终哪有用上这个功能。

    硬件组装好开机之后就是喜闻乐见的折腾环节,我部署的是stratr的q3s ,上下文拉到262K,输出平均在50tokens左右,但是这个不能破甲,我更需要模型能够和我聊的肆无忌惮,strata的破甲模型,并不支持双卡,只能单卡,速度大约是25token左右,而且智商还有点低,所以我放弃了strata,装了qwen的3.8 27b破甲模型,但是tokens非常低,大约是15-20token,感觉太慢了,这个时候看到了1cat的项目,专门给V100优化了,能够跑道45TOkens 就是上下文只能128,但是至此,模型的智商和token输出已经足够了。

    接入了harness,执行任务,跑了个入侵的过程,给了它一个服务器IP,它用40分钟做完了入侵。感觉够用。

    生命不息,折腾不止,其实装出来也没什么大用,就是自己装出来,很有成就感,看到模型跑起来,就很满足。 男人的快乐,可能就在这里吧


  • x99垃圾佬+dd3-128GB内存+2xV100
    llf5916-sudoL llf5916-sudo
    装备秀 x99 v100 多卡部署

    sxm2叫声大是因为转接板的问题。这个卡啸叫正常的

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组