跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 3080 20G*2的有没有,来交流啊兄弟们

3080 20G*2的有没有,来交流啊兄弟们

已定时 已固定 已锁定 已移动 AI硬件
21 帖子 9 发布者 463 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • C coin1860

    tp 必须要pcie4 x8 , pcie3 tp prefill 速度会慢过单卡pp

    terryT 离线
    terryT 离线
    terry
    超级版主
    编写于 最后由 terry 编辑
    #7

    @coin1860 那就不值得了,为这点事还换主板。洋垃圾都有两个以上PICE 3* 16,不会拖后腿吧。我觉得可以测试下。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    0
    • terryT terry

      @rock-shi 对的,论坛需要你的数据,串行真的没啥意思,TP跑起来分享才有价值,这卡也算是神卡了。

      rock shiR 离线
      rock shiR 离线
      rock shi
      劳动模范
      编写于 最后由 编辑
      #8

      @terry 测试完了。vllm不行,18tokens/s左右,应该还是我的主板不行。ollama稳定29tokens/s

      terryT 1 条回复 最后回复
      2
      • rock shiR rock shi

        @terry 测试完了。vllm不行,18tokens/s左右,应该还是我的主板不行。ollama稳定29tokens/s

        terryT 离线
        terryT 离线
        terry
        超级版主
        编写于 最后由 编辑
        #9

        @rock-shi 很重要的信息

        油管:https://www.youtube.com/@抡锤者

        rock shiR 1 条回复 最后回复
        0
        • W 离线
          W 离线
          whjwyc
          编写于 最后由 编辑
          #10

          我的就是3080 20g*2 vllm受限于主板,不成功。llamma.cpp还可以大概的速度是50多60左右的样子。模型qwen3.6-27b

          rock shiR 1 条回复 最后回复
          1
          • W whjwyc

            我的就是3080 20g*2 vllm受限于主板,不成功。llamma.cpp还可以大概的速度是50多60左右的样子。模型qwen3.6-27b

            rock shiR 离线
            rock shiR 离线
            rock shi
            劳动模范
            编写于 最后由 编辑
            #11

            @whjwyc 我去!好消息,回头我也得试试。

            1 条回复 最后回复
            0
            • terryT terry

              @rock-shi 很重要的信息

              rock shiR 离线
              rock shiR 离线
              rock shi
              劳动模范
              编写于 最后由 编辑
              #12

              @terry 刚知道vllm还可以开mtp,我再多试试。回头再来反馈

              1 条回复 最后回复
              1
              • C 离线
                C 离线
                comeN
                编写于 最后由 编辑
                #13

                我也是双卡3080 20G跑qwen3.6 27b在llama能跑32T,MTP=3能写代码能达到47T

                rock shiR 1 条回复 最后回复
                1
                • C comeN

                  我也是双卡3080 20G跑qwen3.6 27b在llama能跑32T,MTP=3能写代码能达到47T

                  rock shiR 离线
                  rock shiR 离线
                  rock shi
                  劳动模范
                  编写于 最后由 编辑
                  #14

                  @comeN 92594480-9585-4707-a147-25f67c5082e8-image.jpeg

                  C 1 条回复 最后回复
                  0
                  • rock shiR rock shi

                    @comeN 92594480-9585-4707-a147-25f67c5082e8-image.jpeg

                    C 离线
                    C 离线
                    comeN
                    编写于 最后由 编辑
                    #15

                    @rock-shi 我后来把MTP改成2跟你这个速度差不多,才发现MTP不是越高越好

                    A 1 条回复 最后回复
                    0
                    • C comeN

                      @rock-shi 我后来把MTP改成2跟你这个速度差不多,才发现MTP不是越高越好

                      A 离线
                      A 离线
                      applejuice
                      劳动模范
                      编写于 最后由 applejuice 编辑
                      #16

                      @comeN 说:

                      @rock-shi 我后来把MTP改成2跟你这个速度差不多,才发现MTP不是越高越好

                      需要测,1,2,3,5,7
                      看成功率多少,看那个最快 然后才决定

                      rock shiR 1 条回复 最后回复
                      0
                      • A applejuice

                        @comeN 说:

                        @rock-shi 我后来把MTP改成2跟你这个速度差不多,才发现MTP不是越高越好

                        需要测,1,2,3,5,7
                        看成功率多少,看那个最快 然后才决定

                        rock shiR 离线
                        rock shiR 离线
                        rock shi
                        劳动模范
                        编写于 最后由 编辑
                        #17

                        @applejuice 对,hermes子代理最高能飙到70t/s,已经足够了其实

                        1 条回复 最后回复
                        0
                        • I 离线
                          I 离线
                          iocat
                          编写于 最后由 编辑
                          #18

                          3080有nvlink吗,上个桥接器应该很爽

                          1 条回复 最后回复
                          0
                          • I 离线
                            I 离线
                            im17me
                            编写于 最后由 编辑
                            #19

                            你主板有我主板烂?Z390 ,我双卡3090 vLLM跑62token/s,单卡36token/s

                            1 条回复 最后回复
                            0
                            • zhengdong youZ 离线
                              zhengdong youZ 离线
                              zhengdong you
                              编写于 最后由 编辑
                              #20

                              看了锤哥视频,下单了华南x99洋垃圾套餐,现在一张3080 20g 一张3080 10g矿渣,参考论坛大佬双3080 20g帖子,现在我30g显存千问27b也能有45t/s,开心。

                              1 条回复 最后回复
                              1
                              • C 离线
                                C 离线
                                comeN
                                编写于 最后由 编辑
                                #21

                                速度差距有时候不是硬件差距是模型不同,我原版的27B-Q4KM能跑62,同样的27B-Q4KM另一个就只能跑57,配置和MTP都一样.

                                1 条回复 最后回复
                                1

                                你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                有了你的建议,这篇帖子会更精彩哦 💗

                                注册 登录
                                回复
                                • 在新帖中回复
                                登录后回复
                                • 从旧到新
                                • 从新到旧
                                • 最多赞同


                                • 登录

                                • 没有帐号? 注册

                                • 登录或注册以进行搜索。
                                • 第一个帖子
                                  最后一个帖子
                                0
                                • 版块
                                • 最新
                                • 标签
                                • 热门
                                • 用户
                                • 群组