V100双卡16GB本地部署
-
硬件清单
CPU 2673 V4 闲鱼:40元
主板:华硕X99WS-e/ipmi 闲鱼:650元
内存:海盗船DDR4 8G8 185/条 8条共计:1480元
显卡:由于主板带集显,所以不需要亮机卡V100 16GB sxm2两块,我买的比较早 700/块带风冷散热带转接板,
但是风冷噪音太大,更换两个240水冷,每块贴了150,合计7002+300=1700元
机箱:50元闲鱼买的
电源:850w金牌电源 闲鱼:150
共计:4070元组装过程:首先是8内存点亮,因为是普条,而且又是X99这种老板子,点亮8内存真的是非常折腾,我一开始收到硬件之后就装机,结果内存非常神奇的只能识别32GB或者48GB,偶尔能够识别到64GB,我一度认为是主板坏了,直到我把主板拿下来测试,完整的识别了64GB,一但装回机箱,就又变成了48/32GB,直到我注意到机箱的几个螺柱,似乎是刚好顶在了内存下面的几个触点,我这才发现多余的螺柱要拆掉,拆掉之后内存总算是正常识别了。 至此硬件全部正常识别。下面就是BIOS
在BIOS中,必须要打开的是above 4g,当我打开了above4g之后,开机就只能直接进系统了,bios界面就彻底不显示了,解决方法,关闭cms。 还有就是 要关闭安全启动,然后删除pk码,不然在安装显卡驱动的时候会有麻烦,所以在BIOS这里,切记关闭CMS,关闭安全启动。我用的是乌班图系统。
最后就是IPMI,这个板子的IPMI如果要远程查看,需要java,但是java在新系统上都没了。要用win7或者windows xp。。。。。。 我是自始至终哪有用上这个功能。
硬件组装好开机之后就是喜闻乐见的折腾环节,我部署的是stratr的q3s ,上下文拉到262K,输出平均在50tokens左右,但是这个不能破甲,我更需要模型能够和我聊的肆无忌惮,strata的破甲模型,并不支持双卡,只能单卡,速度大约是25token左右,而且智商还有点低,所以我放弃了strata,装了qwen的3.8 27b破甲模型,但是tokens非常低,大约是15-20token,感觉太慢了,这个时候看到了1cat的项目,专门给V100优化了,能够跑道45TOkens 就是上下文只能128,但是至此,模型的智商和token输出已经足够了。
接入了harness,执行任务,跑了个入侵的过程,给了它一个服务器IP,它用40分钟做完了入侵。感觉够用。
生命不息,折腾不止,其实装出来也没什么大用,就是自己装出来,很有成就感,看到模型跑起来,就很满足。 男人的快乐,可能就在这里吧
-