跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. 昨天看到一个博主的配置(5060ti 16G X4 )+华南H12D-8D 这能成吗?

昨天看到一个博主的配置(5060ti 16G X4 )+华南H12D-8D 这能成吗?

已定时 已固定 已锁定 已移动 AI硬件
rtx5090x99rtx5060
37 帖子 10 发布者 1.3k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • stxpnetS
    stxpnetS
    stxpnet
    超凡大师
    发表于 最后由 编辑
    #27

    等那个博主翻车,这几天我也没空刷抖音

    双卡3090 PCIE 3.0 8X/8X

    白天(宰相) Sglang+mattbucci 3.6 35B A3B AWQ W4A16 262K ~160 t/s
    夜间(将军) sglang+DENSE 27B INT8-W8A8-imatrix mtp/dflash2 230K ~65 t/s
    imbiplaza ASUSI 1 条回复 最后回复
    0
    • stxpnetS stxpnet

      等那个博主翻车,这几天我也没空刷抖音

      imbiplaza ASUSI
      imbiplaza ASUSI
      imbiplaza ASUS
      至尊王者
      发表于 最后由 编辑
      #28

      @stxpnet 含泪写了多卡的历史:
      https://lcz.me/topic/969/双显卡叠加-vram-玩本地模型的迷思-两年过来人血泪谈-最终直上32gb-单卡

      https://lcz.me/project/dcs

      1 条回复 最后回复
      0
      • Mediali LiM
        Mediali LiM
        Mediali Li
        已封禁
        发表于 最后由 Mediali Li 编辑
        #29

        昨天他的测试成绩并不理想 27b fp8 prefill 2300 decode mtp3 100tks

        A 1 条回复 最后回复
        0
        • Mediali LiM Mediali Li

          昨天他的测试成绩并不理想 27b fp8 prefill 2300 decode mtp3 100tks

          A
          A
          applejuice
          技术大牛 劳动模范
          发表于 最后由 编辑
          #30

          @Mediali-Li prefill 2300 还不错啊

          Mediali LiM 1 条回复 最后回复
          0
          • Mediali LiM
            Mediali LiM
            Mediali Li
            已封禁
            发表于 最后由 编辑
            #31

            E88A5B895B8874D6BBA2E513EA47205C.png

            1 条回复 最后回复
            0
            • A applejuice

              @Mediali-Li prefill 2300 还不错啊

              Mediali LiM
              Mediali LiM
              Mediali Li
              已封禁
              发表于 最后由 Mediali Li 编辑
              #32

              @applejuice 2080ti四卡 27b fp8 优化后也有 2200 prefill 输出大概是80tks-100tks

              1 条回复 最后回复
              0
              • Mediali LiM
                Mediali LiM
                Mediali Li
                已封禁
                发表于 最后由 编辑
                #33

                再发一个对比
                66F838E82E1E43D2EE1231944EBD337E.png

                1 条回复 最后回复
                0
                • stxpnetS
                  stxpnetS
                  stxpnet
                  超凡大师
                  发表于 最后由 编辑
                  #34

                  它跑的是FP8,但是感觉27B的真实 性能和跑完多轮上下文的情况并没有展开讲。

                  双卡3090 PCIE 3.0 8X/8X

                  白天(宰相) Sglang+mattbucci 3.6 35B A3B AWQ W4A16 262K ~160 t/s
                  夜间(将军) sglang+DENSE 27B INT8-W8A8-imatrix mtp/dflash2 230K ~65 t/s
                  1 条回复 最后回复
                  0
                  • L
                    L
                    laomo123
                    发表于 最后由 编辑
                    #35

                    楼主的这个测试,跟我现有硬件配置差不多,我是用超微7048Gr服务器,cpu2673v4 20核40线程共2个cpu,三星内存2400t的32G2共64G,ubuntu22.04系统,显卡是rtx5000 16G显存3共48G+rtx A4000 16G显存1张,共计16*4=64G,目前运行llama.cpp,大模型用的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M这个,速度比Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-MTP-Q4_K_P速度快的不是一点半点。具体测试参数我一会发,因为我是菜鸟,显卡都是朋友给的,不是太懂,自己买了个二手服务器,没用nvlink,在论坛看到很多朋友说安装nvlink调试很麻烦,就没有上。

                    1 条回复 最后回复
                    1
                    • L
                      L
                      laomo123
                      发表于 最后由 编辑
                      #36

                      对了,我是在服务器上装的EXSI虚拟系统,在上边虚拟的ubuntu22.04,目前用3张RTX5000跑的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M大模型,因为RTX A4000在干别的活,没法测试。后期需要我会上测试。
                      f06f8172-778c-4b09-9ee8-0c783f6af9d6.png

                      1 条回复 最后回复
                      1
                      • williamlouisW
                        williamlouisW
                        williamlouis
                        超级版主
                        发表于 最后由 编辑
                        #37

                        手里的旧货可以折腾。花钱上就没什么意义了。如果手里有4张我也是建议折腾变现是最优解。

                        个人主页:xlkj.org Telegram https://t.me/xlkjorg

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组