跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 【硬核实测】双 4080S 跑 125B Flash-Next 吊打 27B:单路 153 tok/s,是 27B 的 2.2 倍,Strata 三套量化 vs SGLang 全对比

【硬核实测】双 4080S 跑 125B Flash-Next 吊打 27B:单路 153 tok/s,是 27B 的 2.2 倍,Strata 三套量化 vs SGLang 全对比

已定时 已固定 已锁定 已移动 精华 AI硬件
rtx4080sdeepseekstrata
14 帖子 9 发布者 707 浏览 4 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • kos orK kos or

    ChatGPT Image

    image.jpeg

    johnnybegoodJ
    johnnybegoodJ
    johnnybegood
    王侯将相
    编写于 最后由 编辑
    #3

    @kos-or 确实, 如果不特别注重使用去审查的话, 还是使用正常的模型工作起来比较好。 我发现去审查模型还是会影响结果质量的。

    1 条回复 最后回复
    0
    • A
      A
      applejuice
      王侯将相
      编写于 最后由 applejuice 编辑
      #4

      羡慕32gb 4080
      这个机箱对我胃口, 是什么牌子机箱?
      还有一张卡是什么用处?

      ivan lanI 1 条回复 最后回复
      0
      • A applejuice

        羡慕32gb 4080
        这个机箱对我胃口, 是什么牌子机箱?
        还有一张卡是什么用处?

        ivan lanI
        ivan lanI
        ivan lan
        体面乡绅
        编写于 最后由 编辑
        #5

        @applejuice 说:

        羡慕32gb 4080
        这个机箱对我胃口, 是什么牌子机箱?
        还有一张卡是什么用处?


        1. 航嘉
        2. 4090 48G,嵌入+重排+ASR/TSS+偶尔ComfyUI
        1 条回复 最后回复
        0
        • XIUNAN ZHIX
          XIUNAN ZHIX
          XIUNAN ZHI
          编写于 最后由 编辑
          #6

          看了个帖子,魔改卡,开p2p,大概原理是 原有bar保持不变,滑窗机制,可以参考下。
          另外请教一个问题,大佬您电源是 2kw ? 我看是 12pin接口,4个8pin 转 1个 12pin,三张就需要12个8pin,这电源要求高。

          ivan lanI 1 条回复 最后回复
          0
          • ,terryT terry 固定了此主题
          • XiaoteX
            XiaoteX
            Xiaote
            编写于 最后由 编辑
            #7

            ⭐ 版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!

            奖励凭证:精华 +5 分 · 编号 f2375-4386-1(系统自动发放,显示稍有延迟)

            老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

            1 条回复 最后回复
            0
            • terryT
              terryT
              terry
              易有太极
              编写于 最后由 编辑
              #8

              非常好的帖子,很有价值,4080S 32G双卡,也算是稀罕货。

              油管:https://www.youtube.com/@抡锤者

              ivan lanI 1 条回复 最后回复
              0
              • N
                N
                neo
                体面乡绅 硕果累累
                编写于 最后由 编辑
                #9

                感谢分享,你的机箱跟我的很像啊

                ivan lanI 1 条回复 最后回复
                0
                • terryT terry

                  非常好的帖子,很有价值,4080S 32G双卡,也算是稀罕货。

                  ivan lanI
                  ivan lanI
                  ivan lan
                  体面乡绅
                  编写于 最后由 编辑
                  #10

                  @terry 说:

                  非常好的帖子,很有价值,4080S 32G双卡,也算是稀罕货。


                  论坛对4080s 双卡 在strata的评测偏少,补充下,回馈下社区 ~

                  1 条回复 最后回复
                  1
                  • N neo

                    感谢分享,你的机箱跟我的很像啊

                    ivan lanI
                    ivan lanI
                    ivan lan
                    体面乡绅
                    编写于 最后由 编辑
                    #11

                    @neo 说:

                    感谢分享,你的机箱跟我的很像啊


                    黑武士~哈哈

                    1 条回复 最后回复
                    0
                    • XIUNAN ZHIX XIUNAN ZHI

                      看了个帖子,魔改卡,开p2p,大概原理是 原有bar保持不变,滑窗机制,可以参考下。
                      另外请教一个问题,大佬您电源是 2kw ? 我看是 12pin接口,4个8pin 转 1个 12pin,三张就需要12个8pin,这电源要求高。

                      ivan lanI
                      ivan lanI
                      ivan lan
                      体面乡绅
                      编写于 最后由 编辑
                      #12

                      @XIUNAN-ZHI 说:

                      看了个帖子,魔改卡,开p2p,大概原理是 原有bar保持不变,滑窗机制,可以参考下。
                      另外请教一个问题,大佬您电源是 2kw ? 我看是 12pin接口,4个8pin 转 1个 12pin,三张就需要12个8pin,这电源要求高。


                      1. P2P目前没开,需要转社区的驱动,采用strata需要从内存搬运专家,就算采用PCIE4 x 16、8通道DDR4 2400内存的基础上,瓶颈也在PICE,在没上PICE5的情况下,感觉现在已经是天花板了,后期可以考虑P2P折腾下
                        2.是的,电源:2000w,三张卡:两个原生12pin接口, 一个4个8pin 转 1个 12pin
                      C 1 条回复 最后回复
                      0
                      • ivan lanI ivan lan

                        @XIUNAN-ZHI 说:

                        看了个帖子,魔改卡,开p2p,大概原理是 原有bar保持不变,滑窗机制,可以参考下。
                        另外请教一个问题,大佬您电源是 2kw ? 我看是 12pin接口,4个8pin 转 1个 12pin,三张就需要12个8pin,这电源要求高。


                        1. P2P目前没开,需要转社区的驱动,采用strata需要从内存搬运专家,就算采用PCIE4 x 16、8通道DDR4 2400内存的基础上,瓶颈也在PICE,在没上PICE5的情况下,感觉现在已经是天花板了,后期可以考虑P2P折腾下
                          2.是的,电源:2000w,三张卡:两个原生12pin接口, 一个4个8pin 转 1个 12pin
                        C
                        C
                        Che
                        体面乡绅
                        编写于 最后由 编辑
                        #13

                        驱动用Duanyll那个就可以了,我试了运行平稳,4080S基本上不用改什么东西。

                        不过,P2P提升作用非常有限(个位数百分比;可能对推测解码稍好)

                        ivan lanI 1 条回复 最后回复
                        0
                        • C Che

                          驱动用Duanyll那个就可以了,我试了运行平稳,4080S基本上不用改什么东西。

                          不过,P2P提升作用非常有限(个位数百分比;可能对推测解码稍好)

                          ivan lanI
                          ivan lanI
                          ivan lan
                          体面乡绅
                          编写于 最后由 编辑
                          #14

                          @Che 说:

                          驱动用Duanyll那个就可以了,我试了运行平稳,4080S基本上不用改什么东西。

                          不过,P2P提升作用非常有限(个位数百分比;可能对推测解码稍好)


                          我试试

                          1 条回复 最后回复
                          0
                          • ,系统 取消固定了此主题

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组