跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 小白自学,希望大家给我下面的配置一些指导。

小白自学,希望大家给我下面的配置一些指导。

已定时 已固定 已锁定 已移动 AI硬件
26 帖子 7 发布者 418 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 杨tom杨 离线
    杨tom杨 离线
    杨tom
    编写于 最后由 编辑
    #17

    @terry 感谢回复 linux 没啥问题, 我原本是弄后端的,想四并发27b模型来做长任务编码使用,再加上点本地知识库啥的 有点显存焦虑 资金有限

    terryT 1 条回复 最后回复
    0
    • 杨tom杨 杨tom

      @terry 感谢回复 linux 没啥问题, 我原本是弄后端的,想四并发27b模型来做长任务编码使用,再加上点本地知识库啥的 有点显存焦虑 资金有限

      terryT 在线
      terryT 在线
      terry
      编写于 最后由 terry 编辑
      #18

      @杨tom 4并发27b它还不是轻松秒杀?记得研究下MTP投机解码,速度给你拉满。你可以跑TP上多会话,研究下VLLM MTP投机解码,要极致并发还是要SG-Lang,不过据说这玩意对最新版的Qwen不友好,要去下载Github源码包编译。A卡我估计没人能编译成功,下载Docker或许是唯一解药。对了,再研究下turoquant,技术都成熟了,算力也够。总之硬件没问题,剩下的看个人本事了。

      1 条回复 最后回复
      0
      • Chuyao ChenC Chuyao Chen

        @Sam-Hsu 全部买好了按照您的配方

        Sam HsuS 离线
        Sam HsuS 离线
        Sam Hsu
        编写于 最后由 编辑
        #19

        @Chuyao-Chen
        恭喜
        平台千萬用Ubuntu
        用windows 能噁心死
        清單列出來 我看看有沒有少什麼

        Chuyao ChenC 1 条回复 最后回复
        0
        • Sam HsuS Sam Hsu

          @Chuyao-Chen
          恭喜
          平台千萬用Ubuntu
          用windows 能噁心死
          清單列出來 我看看有沒有少什麼

          Chuyao ChenC 离线
          Chuyao ChenC 离线
          Chuyao Chen
          编写于 最后由 编辑
          #20

          @Sam-Hsu
          x99 f8d plus
          E5 2696v4 双路
          ddr4 reg ecc 128GB (16X8) (二手)
          3090 24G (京东限制高消费不知道为啥)
          1TB TIPLUS7100S M.2
          1TB SATA SSD 二手
          人在海外可以买到RTX6000 或者可以转性价比高的A卡或者N魔改卡。
          机箱目前再看
          电源也在看
          我本来还想用windows的Comfyui整合包呢。Linux也不是不行。

          K 1 条回复 最后回复
          0
          • Chuyao ChenC Chuyao Chen

            @Sam-Hsu
            x99 f8d plus
            E5 2696v4 双路
            ddr4 reg ecc 128GB (16X8) (二手)
            3090 24G (京东限制高消费不知道为啥)
            1TB TIPLUS7100S M.2
            1TB SATA SSD 二手
            人在海外可以买到RTX6000 或者可以转性价比高的A卡或者N魔改卡。
            机箱目前再看
            电源也在看
            我本来还想用windows的Comfyui整合包呢。Linux也不是不行。

            K 离线
            K 离线
            kenshin
            编写于 最后由 编辑
            #21

            @Chuyao-Chen 看的心痒痒的。等你配齐了,麻烦你发出来,我也想抄作业。😁

            1 条回复 最后回复
            0
            • ping linP 离线
              ping linP 离线
              ping lin
              编写于 最后由 编辑
              #22

              想请教一下。为什么内存要配128g,我在amazon上面看到有卖,32gddr32的64g,我在考虑要不要配324的内存,因为我已经买了e52666v3的主板,只能插4张卡,就是有必要上128g吗?

              terryT 1 条回复 最后回复
              0
              • ping linP ping lin

                想请教一下。为什么内存要配128g,我在amazon上面看到有卖,32gddr32的64g,我在考虑要不要配324的内存,因为我已经买了e52666v3的主板,只能插4张卡,就是有必要上128g吗?

                terryT 在线
                terryT 在线
                terry
                编写于 最后由 编辑
                #23

                @ping-lin 128都超配了,64都用不完,DDR3的平台以后都是垃圾,要不是内存涨价这些条子都按斤卖的,你买那么大内存干嘛?等D4 D5大降价,入手新平台。

                ping linP 1 条回复 最后回复
                1
                • terryT terry

                  @ping-lin 128都超配了,64都用不完,DDR3的平台以后都是垃圾,要不是内存涨价这些条子都按斤卖的,你买那么大内存干嘛?等D4 D5大降价,入手新平台。

                  ping linP 离线
                  ping linP 离线
                  ping lin
                  编写于 最后由 编辑
                  #24

                  @terry 好的,好的,谢谢!

                  1 条回复 最后回复
                  0
                  • Chuyao ChenC 离线
                    Chuyao ChenC 离线
                    Chuyao Chen
                    编写于 最后由 编辑
                    #25

                    今天下午的机子马上就要到了,然后我是自己组装的,在软件方面我打算装双系统一个linux一个windows。就是我这里想问一下linux有没有什么就是特别好用的版本,或者说呃特别需要避坑的版本。还是说都一样。

                    terryT 1 条回复 最后回复
                    1
                    • Chuyao ChenC Chuyao Chen

                      今天下午的机子马上就要到了,然后我是自己组装的,在软件方面我打算装双系统一个linux一个windows。就是我这里想问一下linux有没有什么就是特别好用的版本,或者说呃特别需要避坑的版本。还是说都一样。

                      terryT 在线
                      terryT 在线
                      terry
                      编写于 最后由 编辑
                      #26

                      @Chuyao-Chen 没啥好的版本,桌面都是垃圾,不能当作主力机器,你找下ubuntu的轻量改装版,ubuntu的桌面废了,我都是ssh的。

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组