首先非常幸运得知这个论坛的存在,之前一直对自部署大模型感兴趣,但是一直没有找到组织。
恰逢双十一且得知strata这个框架的存在,加上最近查看各位大佬的发帖,于是计划装机一套运行大模型,结合大佬们的经验初步方案如下,请
- CPU: E52678V3
- MEM: 32G DDR3 REG ECC * 4 = 128G
- 主板: X99-TF8
- 显卡:RTX2080TI 22G (三风扇)
- 电源 机箱 散热器 暂未定
各位指点:
- 配置是否合适?主要目的是编程和个人助理,非审查模型
- 请推荐合适的入手渠道(比如店铺和购买链接)和价格参考,主要是显卡
- 电源 机箱 散热器 请推荐型号
- 是否有必要装两个2080ti的显卡加nvlink?如果有必要算下来价格是直接选择v100 32G还是7900xtx更合适?
新人发帖请各位指点