跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. 我的显存是(8G、12G、24G、32G、48G… 512G)的话,到底能做什么?

我的显存是(8G、12G、24G、32G、48G… 512G)的话,到底能做什么?

已定时 已固定 已锁定 已移动 AI硬件
29 帖子 10 发布者 490 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • rock shiR 离线
    rock shiR 离线
    rock shi
    劳动模范 德高望重
    编写于 最后由 编辑
    #19

    96g还可以跑qwen3.8 Flash next 4bit量化,n-gram放在ssd

    主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
    副机:2x2080ti 22g,vllm+qwen3.8-27b-fp8-16kv-128k

    terryT 1 条回复 最后回复
    0
    • rock shiR rock shi

      96g还可以跑qwen3.8 Flash next 4bit量化,n-gram放在ssd

      terryT 离线
      terryT 离线
      terry
      超级版主
      编写于 最后由 编辑
      #20

      @rock-shi 这是个不错的选择,但是这个模型很慢,体验没27B好,好处是知识面全。

      油管:https://www.youtube.com/@抡锤者

      rock shiR kos orK 2 条回复 最后回复
      1
      • terryT terry

        @rock-shi 这是个不错的选择,但是这个模型很慢,体验没27B好,好处是知识面全。

        rock shiR 离线
        rock shiR 离线
        rock shi
        劳动模范 德高望重
        编写于 最后由 编辑
        #21

        @terry 27b目前确实太天花板了

        主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
        副机:2x2080ti 22g,vllm+qwen3.8-27b-fp8-16kv-128k

        1 条回复 最后回复
        0
        • terryT terry

          @rock-shi 这是个不错的选择,但是这个模型很慢,体验没27B好,好处是知识面全。

          kos orK 离线
          kos orK 离线
          kos or
          技术大牛 劳动模范
          编写于 最后由 kos or 编辑
          #22

          @terry

          Reddit 網友們也是在討論 qwen3.8 Flash next 體驗沒27B好, 沒必要為了qwen3.8 Flash next 升級硬體, 使用27B就夠應付大多數的場景

          e72e48f5-7c37-4ae1-bf83-882115e53ab0-image.jpeg

          rock shiR 1 条回复 最后回复
          2
          • kos orK kos or

            @terry

            Reddit 網友們也是在討論 qwen3.8 Flash next 體驗沒27B好, 沒必要為了qwen3.8 Flash next 升級硬體, 使用27B就夠應付大多數的場景

            e72e48f5-7c37-4ae1-bf83-882115e53ab0-image.jpeg

            rock shiR 离线
            rock shiR 离线
            rock shi
            劳动模范 德高望重
            编写于 最后由 编辑
            #23

            @kos-or 对于准96g mac用户,还是蛮期待未来迭代。毕竟大参数里只有它能塞得进96g mac,显存空间弥补了70b规模的断档

            主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
            副机:2x2080ti 22g,vllm+qwen3.8-27b-fp8-16kv-128k

            kos orK 1 条回复 最后回复
            0
            • rock shiR rock shi

              @kos-or 对于准96g mac用户,还是蛮期待未来迭代。毕竟大参数里只有它能塞得进96g mac,显存空间弥补了70b规模的断档

              kos orK 离线
              kos orK 离线
              kos or
              技术大牛 劳动模范
              编写于 最后由 编辑
              #24

              @rock-shi

              我沒有Mac Mini, Macbook Pro, Mac Studio, 但根據網路使用者的反饋是Mac適合跑 MoE model, 不適合跑 Dense model, 未來看看MoE和 Dense models 的發展吧 只要生活上和工作上夠用 都很好 😊

              rock shiR 1 条回复 最后回复
              2
              • kos orK kos or

                @rock-shi

                我沒有Mac Mini, Macbook Pro, Mac Studio, 但根據網路使用者的反饋是Mac適合跑 MoE model, 不適合跑 Dense model, 未來看看MoE和 Dense models 的發展吧 只要生活上和工作上夠用 都很好 😊

                rock shiR 离线
                rock shiR 离线
                rock shi
                劳动模范 德高望重
                编写于 最后由 编辑
                #25

                @kos-or 是的是的👍

                主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
                副机:2x2080ti 22g,vllm+qwen3.8-27b-fp8-16kv-128k

                1 条回复 最后回复
                0
                • PEN CHI LINP 离线
                  PEN CHI LINP 离线
                  PEN CHI LIN
                  编写于 最后由 编辑
                  #26

                  補充一下雙5060TI的速度感覺也沒那麼不堪,就是顯存小硬傷,生視頻不好玩!

                  2026-09-07_090743.png
                  2026-09-07_090602.png

                  A 80zhangyan8 2 条回复 最后回复
                  0
                  • PEN CHI LINP PEN CHI LIN

                    補充一下雙5060TI的速度感覺也沒那麼不堪,就是顯存小硬傷,生視頻不好玩!

                    2026-09-07_090743.png
                    2026-09-07_090602.png

                    A 离线
                    A 离线
                    applejuice
                    技术大牛 劳动模范
                    编写于 最后由 编辑
                    #27

                    @PEN-CHI-LIN

                    上4 5060呗

                    1 条回复 最后回复
                    0
                    • PEN CHI LINP 离线
                      PEN CHI LINP 离线
                      PEN CHI LIN
                      编写于 最后由 编辑
                      #28

                      @applejuice 5060 出掉了前陣子呆灣這兩張5060比一張9700還貴,我直接出掉換兩張9700。16G想玩minimax h3很痛苦= = !

                      1 条回复 最后回复
                      0
                      • PEN CHI LINP PEN CHI LIN

                        補充一下雙5060TI的速度感覺也沒那麼不堪,就是顯存小硬傷,生視頻不好玩!

                        2026-09-07_090743.png
                        2026-09-07_090602.png

                        80zhangyan8 离线
                        80zhangyan8 离线
                        80zhangyan
                        编写于 最后由 编辑
                        #29

                        @PEN-CHI-LIN 使用LLM足够了

                        1 条回复 最后回复
                        0
                        • ,系统 取消固定了此主题

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组