跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. LLM讨论区
  3. 闲置硬件设备想组建一个AI小型工作室,各台机子配置方面请指正

闲置硬件设备想组建一个AI小型工作室,各台机子配置方面请指正

已定时 已固定 已锁定 已移动 LLM讨论区
15 帖子 6 发布者 182 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • M 离线
    M 离线
    mark
    编写于 最后由 编辑
    #5

    土豪,收下我的膝盖. RTX PRO 6000显卡 ,有这一张 就够了. 其他都是多余.

    1 条回复 最后回复
    0
    • t68823878T t68823878

      @williamlouis 现在就是这么配置的,但是显卡在跑任务的时候干点其他游戏之类的就是不行,所以把他们才想到分几台机器各自处理任务

      williamlouisW 离线
      williamlouisW 离线
      williamlouis
      编写于 最后由 编辑
      #6

      @t68823878 这么富足的资源。其他随便攒一下就行。5080搞一台打游戏还不够你刷GAME了。啥都能玩。
      我们这些LOW B 只能羡慕。

      个人主页:xlkj.org Telegram https://t.me/xinlinlu

      1 条回复 最后回复
      0
      • t68823878T t68823878

        家里面有多个闲置的设备想要组几台电脑做为AI时代的敲门砖,请各位大佬指正;

        设备如下:
        1、若干AMD7950X+32GB主机平台,无显卡;
        2、3060显卡若干;
        3、4060ti 16GB显卡2张;
        4、5080显卡1张;
        5、RTX PRO 6000显卡1张;
        6、9950X3D+64GB主机平台;
        7、两三台Windows笔记本,1台老苹果mac book air;
        8、WTR MAX NAS一台,60T容量;

        现在我的想法是组建以下的几台机器:

        1、办公机器:玩游戏办公以及其他日常操作
        Windows系统
        9950X3D+64GB主机平台+5080显卡;

        2、AI服务器:主要运行本地QWEN3.6 27B模型和comfyui视频生成
        ubuntu系统
        AMD7950X+32GB主机平台+RTX PRO 6000显卡;

        3、agent主机:主要跑agent辅助完成各项视频制作文案审核等相关任务
        ubuntu系统
        AMD7950X+32GB/64GB主机平台+3060显卡;

        4、音频生成机器:根据文案生成音频
        ubuntu系统
        AMD7950X+32GB/64GB主机平台+4060ti 16GB显卡;

        主要就是想能够合理的分配资源,后期研究脚本或者流程化工作更快速度的制作高质量内容,同时有固定IP也方便其他辅助工作人员远程调用算力;

        以上这些配置或者任务分配有不合理的地方,还请各位大神指正,感谢!

        williamlouisW 离线
        williamlouisW 离线
        williamlouis
        编写于 最后由 编辑
        #7

        @t68823878 说:

        4060ti 16GB

        能出一片 救救 我的 GOU命吗?

        个人主页:xlkj.org Telegram https://t.me/xinlinlu

        1 条回复 最后回复
        0
        • terryT terry

          你这么配置多余了,所有的音视频都让pro6000来干,比你分开让这么多卡干快很多倍,还有文案审核不要用本地AI,用在线大模型。

          t68823878T 离线
          t68823878T 离线
          t68823878
          编写于 最后由 编辑
          #8

          @terry 意思是我只需要下面这三台机器就够了吗?
          1、办公机器:玩游戏办公以及其他日常操作,远程操作其他主机;
          Windows系统
          9950X3D+64GB主机平台+5080显卡;

          2、AI服务器:主要运行本地QWEN3.6 27B模型和comfyui音视频生成
          ubuntu系统
          AMD7950X+32GB主机平台+RTX PRO 6000显卡;

          3、agent主机:主跑agent
          ubuntu系统
          AMD7950X+32GB/64GB主机平台+3060显卡;

          我主要是在纠结hermes是不是需要单独弄台主机来跑,规划是天天操练让他后面能够一个指令完成我绝大部分工作。

          terryT 1 条回复 最后回复
          0
          • t68823878T 离线
            t68823878T 离线
            t68823878
            编写于 最后由 编辑
            #9

            我研究了一下,我还有N100和N150的小主机,直接让小主机跑hermes就行了,这样下来就只用再装一台AI服务器就足够了

            1 条回复 最后回复
            0
            • Tony WangT 离线
              Tony WangT 离线
              Tony Wang
              编写于 最后由 编辑
              #10

              我个人之见, 你的硬件足够富余, 所以可以用三层结构, 三台主机+NAS.

              Tier 1: 主力机, 一台笔记本足以. 或者一台固定主机+一台外出携带的笔记本, 用来做日常工作, 上网浏览等. 同时跑一个 AI Agent, 用来对本机的自动化应用和可能的RAG或长上下文知识库管理.

              Tier2: 两台 AI 工作站.
              一台跑 AI Agent 和 本地LLM(同时可以route到云端LLM大脑), 用来给 主力机提供 大脑. 以及单独的Agent 用来完成一些 heavy duty 的工作. 这个可用Pro 6000.
              一台跑 本地Diffusion, 作为专门的 图形视频工作站. 这个可以把你所有的其他显卡卖掉, 换一张5090, 如果你3060数量够多, 估计不用再加钱.
              这样两台互不竞争资源, 且Pro 6000够你跑70B, 5090做图形视频你也飞起. 如果你要跑长视频, 本地27B LLM, 两台互换即可. 如果不想卖旧卡, 那就只用Pro 6000一台, 同时跑LLM和ComfyUI.

              Tier3: NAS, 如果可万兆直连, 则 Tier1, Tier2 直接挂载, 并同时承担 备份任务. 如果不能万兆直连, 那就改为 同步+备份.

              这样的三层结构, 三台机器+一个NAS, 应该是比较清晰的.

              t68823878T 1 条回复 最后回复
              2
              • t68823878T t68823878

                @terry 意思是我只需要下面这三台机器就够了吗?
                1、办公机器:玩游戏办公以及其他日常操作,远程操作其他主机;
                Windows系统
                9950X3D+64GB主机平台+5080显卡;

                2、AI服务器:主要运行本地QWEN3.6 27B模型和comfyui音视频生成
                ubuntu系统
                AMD7950X+32GB主机平台+RTX PRO 6000显卡;

                3、agent主机:主跑agent
                ubuntu系统
                AMD7950X+32GB/64GB主机平台+3060显卡;

                我主要是在纠结hermes是不是需要单独弄台主机来跑,规划是天天操练让他后面能够一个指令完成我绝大部分工作。

                terryT 离线
                terryT 离线
                terry
                编写于 最后由 编辑
                #11

                @t68823878 我的意思是,你只需要伺候好Pro 6000,它一个卡就能干完所有活,其他的你自己看着办。

                t68823878T 1 条回复 最后回复
                1
                • Tony WangT Tony Wang

                  我个人之见, 你的硬件足够富余, 所以可以用三层结构, 三台主机+NAS.

                  Tier 1: 主力机, 一台笔记本足以. 或者一台固定主机+一台外出携带的笔记本, 用来做日常工作, 上网浏览等. 同时跑一个 AI Agent, 用来对本机的自动化应用和可能的RAG或长上下文知识库管理.

                  Tier2: 两台 AI 工作站.
                  一台跑 AI Agent 和 本地LLM(同时可以route到云端LLM大脑), 用来给 主力机提供 大脑. 以及单独的Agent 用来完成一些 heavy duty 的工作. 这个可用Pro 6000.
                  一台跑 本地Diffusion, 作为专门的 图形视频工作站. 这个可以把你所有的其他显卡卖掉, 换一张5090, 如果你3060数量够多, 估计不用再加钱.
                  这样两台互不竞争资源, 且Pro 6000够你跑70B, 5090做图形视频你也飞起. 如果你要跑长视频, 本地27B LLM, 两台互换即可. 如果不想卖旧卡, 那就只用Pro 6000一台, 同时跑LLM和ComfyUI.

                  Tier3: NAS, 如果可万兆直连, 则 Tier1, Tier2 直接挂载, 并同时承担 备份任务. 如果不能万兆直连, 那就改为 同步+备份.

                  这样的三层结构, 三台机器+一个NAS, 应该是比较清晰的.

                  t68823878T 离线
                  t68823878T 离线
                  t68823878
                  编写于 最后由 编辑
                  #12

                  @Tony-Wang 一般还在家办公和娱乐,外出办公的时间基本上可以忽略不记了,所以搞了5080的办公机;然后我comfyui生成音视频大概是40G的显存占用,这样看来还是老特的方案相对合适一点,后面如果还卡或者速度慢的话在考虑其他方案,感谢讨论。

                  1 条回复 最后回复
                  1
                  • terryT terry

                    @t68823878 我的意思是,你只需要伺候好Pro 6000,它一个卡就能干完所有活,其他的你自己看着办。

                    t68823878T 离线
                    t68823878T 离线
                    t68823878
                    编写于 最后由 编辑
                    #13

                    @terry 有道理,其实再配置好一台RTX PRO 6000的AI服务器就能搞定所有工作了。

                    1 条回复 最后回复
                    0
                    • David ZhangD 离线
                      David ZhangD 离线
                      David Zhang
                      编写于 最后由 编辑
                      #14

                      真是大佬,卡多多

                      1 条回复 最后回复
                      0
                      • williamlouisW williamlouis

                        9950X3D+64GB主机平台+RTX PRO 6000显卡1张 做主力。其他的随便分分就行。

                        williamlouisW 离线
                        williamlouisW 离线
                        williamlouis
                        编写于 最后由 编辑
                        #15

                        我和老特的看法其实是一致的。

                        个人主页:xlkj.org Telegram https://t.me/xinlinlu

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 没有帐号? 注册

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组