跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. Strata vs SGLang,问世1个月的新框架,为什么改变了本地AI部署的生态?它大大降低了LLM的部署门槛,让洋垃圾成为可用生产资料!

Strata vs SGLang,问世1个月的新框架,为什么改变了本地AI部署的生态?它大大降低了LLM的部署门槛,让洋垃圾成为可用生产资料!

已定时 已固定 已锁定 已移动 热议 LLM讨论区
28 帖子 12 发布者 629 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • H
    H
    hhhl
    编写于 最后由 编辑
    #13

    我觉得对于个人用户来说有了Strata,以后大显存的显卡,可能就不吃香了,大家怎样看呢?(相信以后在音视频上也会有类似的会出现)

    A 1 条回复 最后回复
    0
    • H hhhl

      我觉得对于个人用户来说有了Strata,以后大显存的显卡,可能就不吃香了,大家怎样看呢?(相信以后在音视频上也会有类似的会出现)

      A
      A
      applejuice
      王侯将相
      编写于 最后由 编辑
      #14

      @hhhl 大显存优势还是在 strata 只是让小显存变得可用

      1 条回复 最后回复
      0
      • NY ZhaoN NY Zhao

        @terry 老大,我刚买的全新的4090 48G,128G D5,是不是就无用武之地了,是不是应该再搞一个X99+128G+7900XTX,想专门用来跑本地qwen,然后我新买的这个,就跑跑minimax

        perterP
        perterP
        perter
        贵族大夫 硕果累累
        编写于 最后由 编辑
        #15

        @NY-Zhao 说:

        我刚买的全新的4090 48G,128G D5,是不是就无用武之地了,是不是应该再搞一个X99+128G+7900XTX,想专门用来跑本地qwen,然后我新买的这个,就跑跑minimax

        反了吧,4090 48G 跑minimax H3 效果肯定比7900XTX 好多了。而且N卡CUDA生态好的多。

        1 条回复 最后回复
        0
        • NY ZhaoN
          NY ZhaoN
          NY Zhao
          编写于 最后由 编辑
          #16

          @hhhl 大显存是生产力工具,内存的offload,只是解决能不能用的问题,如果速度到不了100t/s,就我个人感觉,基本没有生产力

          1 条回复 最后回复
          0
          • imbiplaza ASUSI
            imbiplaza ASUSI
            imbiplaza ASUS
            谪仙人
            编写于 最后由 编辑
            #17

            我现在开始用dsh 去驱动我的comfyui....但是,在本机上永远无法同时跑两个模型,
            唯有,年底学老大特那样,买多一架ddr5套机, 用我的5060ti + 128g ram 来安装strata

            terryT 1 条回复 最后回复
            0
            • NY ZhaoN
              NY ZhaoN
              NY Zhao
              编写于 最后由 编辑
              #18

              @perter 好,那看来先分时使用吧,再投资,又是一个机器,感觉不值当了,先凑活用了,谢谢啦

              1 条回复 最后回复
              0
              • NY ZhaoN
                NY ZhaoN
                NY Zhao
                编写于 最后由 编辑
                #19

                @imbiplaza-asus 我也是,就是洋垃圾,感觉没有时间折腾,最后搞不好变成洋垃圾折腾我

                imbiplaza ASUSI 1 条回复 最后回复
                0
                • NY ZhaoN NY Zhao

                  @imbiplaza-asus 我也是,就是洋垃圾,感觉没有时间折腾,最后搞不好变成洋垃圾折腾我

                  imbiplaza ASUSI
                  imbiplaza ASUSI
                  imbiplaza ASUS
                  谪仙人
                  编写于 最后由 编辑
                  #20

                  @NY-Zhao 我应该会买回ddr4 套机,加上pcie 5.0 主机板,双pcie 插槽,cpu 用回12th i5, 然后再补上一个surface arm,

                  我算过这样的设备只是rtx spark 的一半价格

                  1 条回复 最后回复
                  0
                  • NY ZhaoN NY Zhao

                    @terry 老大,我刚买的全新的4090 48G,128G D5,是不是就无用武之地了,是不是应该再搞一个X99+128G+7900XTX,想专门用来跑本地qwen,然后我新买的这个,就跑跑minimax

                    terryT
                    terryT
                    terry
                    易有太极
                    编写于 最后由 编辑
                    #21

                    @NY-Zhao 我也建议你买个xtx跑strata,你一个人用足够了。4090跑strata浪费了,48G显存你跑H3多好。

                    油管:https://www.youtube.com/@抡锤者

                    1 条回复 最后回复
                    0
                    • imbiplaza ASUSI imbiplaza ASUS

                      我现在开始用dsh 去驱动我的comfyui....但是,在本机上永远无法同时跑两个模型,
                      唯有,年底学老大特那样,买多一架ddr5套机, 用我的5060ti + 128g ram 来安装strata

                      terryT
                      terryT
                      terry
                      易有太极
                      编写于 最后由 编辑
                      #22

                      @imbiplaza-ASUS 我弟这点事你还亲自动手吗?你这样的地主家里没佣人?我特么要去投奔你当保安,这样的生活条件我怕是难以接受。

                      油管:https://www.youtube.com/@抡锤者

                      imbiplaza ASUSI 1 条回复 最后回复
                      0
                      • terryT terry

                        @imbiplaza-ASUS 我弟这点事你还亲自动手吗?你这样的地主家里没佣人?我特么要去投奔你当保安,这样的生活条件我怕是难以接受。

                        imbiplaza ASUSI
                        imbiplaza ASUSI
                        imbiplaza ASUS
                        谪仙人
                        编写于 最后由 编辑
                        #23

                        @terry

                        全部自己来的生活

                        1 条回复 最后回复
                        0
                        • 大周大
                          大周大
                          大周
                          编写于 最后由 编辑
                          #24

                          e5 2696v3 精粤x99tid3 plus 128g1866ddr3 5060ti 16g过来冒个泡

                          1 条回复 最后回复
                          0
                          • NY ZhaoN
                            NY ZhaoN
                            NY Zhao
                            编写于 最后由 编辑
                            #25

                            @terry 嗯,好啊,那我也抄个大哥的作业

                            1 条回复 最后回复
                            0
                            • fan junF
                              fan junF
                              fan jun
                              编写于 最后由 编辑
                              #26

                              就是显卡4080D 48g或者R9700,比较难

                              fan junF 1 条回复 最后回复
                              0
                              • fan junF fan jun

                                就是显卡4080D 48g或者R9700,比较难

                                fan junF
                                fan junF
                                fan jun
                                编写于 最后由 编辑
                                #27

                                d4d4c43c-048c-4821-bc1a-c68721bb0f2a.jpeg

                                fan junF 1 条回复 最后回复
                                0
                                • fan junF fan jun

                                  d4d4c43c-048c-4821-bc1a-c68721bb0f2a.jpeg

                                  fan junF
                                  fan junF
                                  fan jun
                                  编写于 最后由 编辑
                                  #28

                                  主板,cpu,内存价格还是便宜的,买好了,准备用4060Ti, 玩一下看看。 这个电源要用多大的?650w够了吗?

                                  1 条回复 最后回复
                                  0

                                  你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                  厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                  有了你的建议,这篇帖子会更精彩哦 💗

                                  注册 登录
                                  回复
                                  • 在新帖中回复
                                  登录后回复
                                  • 从旧到新
                                  • 从新到旧
                                  • 最多赞同


                                  • 登录

                                  • 登录或注册以进行搜索。
                                  • 第一个帖子
                                    最后一个帖子
                                  0
                                  • 版块
                                  • 最新
                                  • 标签
                                  • 热门
                                  • 用户
                                  • 群组