跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. Qwen3.8-27B-MLX-8bit on M5 max

Qwen3.8-27B-MLX-8bit on M5 max

已定时 已固定 已锁定 已移动 LLM讨论区
qwen-27bmac量化
25 帖子 8 发布者 743 浏览 2 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • williamlouisW williamlouis

    马上出 M6了。期待下吧。

    Z 离线
    Z 离线
    zorg
    德高望重
    编写于 最后由 编辑
    #13

    @williamlouis 我先订了m5 ultra,还是带宽更优先吧,看有传闻可能就重点在m7了。

    1 条回复 最后回复
    0
    • YUN WANGY YUN WANG

      那是M5 Pro强,还是M6强?
      个人感觉应该M5 Pro更强点

      Z 离线
      Z 离线
      zorg
      德高望重
      编写于 最后由 编辑
      #14

      @YUN-WANG 同意,我现在m5 max gpu经常用不满,估计还是带宽更瓶颈一些吧。

      1 条回复 最后回复
      0
      • Z zorg

        Q8,开了MTP,速度可以接受了

        Z 离线
        Z 离线
        zorg
        德高望重
        编写于 最后由 编辑
        #15

        截屏2026-08-31 上午12.11.46.png

        1 条回复 最后回复
        0
        • Z zorg

          Qwen3.8发布,先试了试在M5 Max上跑的速度,用的是lmstudio-community/Qwen3.8-27B-MLX-8bit,结果如下,供大家参考。
          截屏2026-08-15 上午12.29.38.png

          Z 离线
          Z 离线
          zorg
          德高望重
          编写于 最后由 编辑
          #16

          截屏2026-08-31 上午3.36.50.png

          1 条回复 最后回复
          0
          • Z zorg

            Qwen3.8发布,先试了试在M5 Max上跑的速度,用的是lmstudio-community/Qwen3.8-27B-MLX-8bit,结果如下,供大家参考。
            截屏2026-08-15 上午12.29.38.png

            Z 离线
            Z 离线
            zorg
            德高望重
            编写于 最后由 编辑
            #17

            截屏2026-08-31 上午4.21.21.png

            1 条回复 最后回复
            0
            • Z zorg

              Qwen3.8发布,先试了试在M5 Max上跑的速度,用的是lmstudio-community/Qwen3.8-27B-MLX-8bit,结果如下,供大家参考。
              截屏2026-08-15 上午12.29.38.png

              Z 离线
              Z 离线
              zorg
              德高望重
              编写于 最后由 编辑
              #18

              DEEPSEEKV4Flash0731.png

              1 条回复 最后回复
              0
              • Z 离线
                Z 离线
                zorg
                德高望重
                编写于 最后由 编辑
                #19

                开了MTP Q6可以跑到40-50tps,还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

                terryT kos orK 2 条回复 最后回复
                0
                • Z zorg

                  开了MTP Q6可以跑到40-50tps,还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

                  terryT 离线
                  terryT 离线
                  terry
                  超级版主
                  编写于 最后由 编辑
                  #20

                  @zorg 那还挺好,长上下文如何,我看最高才32K,意义不大。max的算力还是不错啊,其实640G的带宽和R9700 Pro一样了。

                  油管:https://www.youtube.com/@抡锤者

                  Z 1 条回复 最后回复
                  0
                  • terryT terry

                    @zorg 那还挺好,长上下文如何,我看最高才32K,意义不大。max的算力还是不错啊,其实640G的带宽和R9700 Pro一样了。

                    Z 离线
                    Z 离线
                    zorg
                    德高望重
                    编写于 最后由 terry 编辑
                    #21

                    @terry
                    截屏2026-08-31 下午1.14.29.png

                    rock shiR terryT 2 条回复 最后回复
                    2
                    • Z zorg

                      @terry
                      截屏2026-08-31 下午1.14.29.png

                      rock shiR 离线
                      rock shiR 离线
                      rock shi
                      劳动模范 德高望重
                      编写于 最后由 编辑
                      #22

                      @zorg 这个速度感觉真能用了。就是价格还是有点美丽😢

                      主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
                      副机:2x2080ti 22g,vllm+qwen3.8-27b-fp8-16kv-128k

                      1 条回复 最后回复
                      0
                      • Z zorg

                        @terry
                        截屏2026-08-31 下午1.14.29.png

                        terryT 离线
                        terryT 离线
                        terry
                        超级版主
                        编写于 最后由 编辑
                        #23

                        @zorg 还行,prefill如何,如果不慢这速度够用,加上苹果的安静,是有市场的。

                        油管:https://www.youtube.com/@抡锤者

                        1 条回复 最后回复
                        0
                        • Z zorg

                          开了MTP Q6可以跑到40-50tps,还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

                          kos orK 离线
                          kos orK 离线
                          kos or
                          技术大牛 劳动模范
                          编写于 最后由 编辑
                          #24

                          @zorg said:

                          开了MTP Q6可以跑到40-50tps,还是多模态无审查模型。

                          如果是 MTP Q4 不就可以上50-60 tps, 但要看輸出品質的差異是否可用?
                          Agent 可能差異不大 但coding或許有差異

                          1 条回复 最后回复
                          0
                          • kos orK 离线
                            kos orK 离线
                            kos or
                            技术大牛 劳动模范
                            编写于 最后由 kos or 编辑
                            #25

                            沒研究過Apples , 放在供大家 參考一下價格

                            Apple "MacBook Pro" M5 Max 基本款 約14萬台幣 , 18C CPU/32C GPU , 36 GB Unified Memory,

                            f2ce8c96-6807-40fd-9b06-402b90b65926-image.jpeg

                            Apple "MacBook Pro" M5 Max 頂規 約24萬台幣 , 18C CPU/40C GPU , 128 GB Unified Memory,

                            9fcd9c84-32e4-4f78-90a3-cf547c43162c-image.jpeg

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组