跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待

明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待

已定时 已固定 已锁定 已移动 精华 热议 AI硬件
apple-m5dgxsparkdeepseek
41 帖子 15 发布者 1.3k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • ivan lanI ivan lan

    @xiongjie-gao 是真的安静~~,我旁边的4090+4080sx2吵得怀疑人生,已经被我关进小黑屋了

    xiongjie gaoX
    xiongjie gaoX
    xiongjie gao
    王侯将相
    编写于 最后由 编辑
    #26

    @ivan-lan 算力机最优雅的打开方式就是锁在温湿合适,隔音良好的小黑屋里供远程调用。
    老哥,稳👍

    https://github.com/shawn86574-prog/x99-7900xtx-p2p
    https://github.com/shawn86574-prog/kuzuryusen

    1 条回复 最后回复
    1
    • ivan lanI ivan lan

      @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?目前mlx-serve 这边的 llmprobe 统计口径好像不太一样,不懂是我的问题还是测试工具的问题,我在研究下~

      benton yiB
      benton yiB
      benton yi
      王侯将相
      编写于 最后由 编辑
      #27

      @ivan-lan 说:

      @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?

      image.jpeg

      没错,就是这个。

      ivan lanI 1 条回复 最后回复
      1
      • benton yiB benton yi

        @ivan-lan 说:

        @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?

        image.jpeg

        没错,就是这个。

        ivan lanI
        ivan lanI
        ivan lan
        贵族大夫
        编写于 最后由 编辑
        #28

        @benton-yi 那就对上了~

        1 条回复 最后回复
        1
        • 懒人烘培懒
          懒人烘培懒
          懒人烘培
          王侯将相
          编写于 最后由 编辑
          #29

          冲着安静就得加分,贵是有道理的,双7900XTX又在嗷嗷叫了~~

          双 7900 XTX:模型本地跑,Token 随便烧!

          1 条回复 最后回复
          1
          • kop wangK
            kop wangK
            kop wang
            易有太极
            编写于 最后由 编辑
            #30

            看了两个512GB的评测,都是超长上下文prefill速度反而大于相对长的上下文(超短上下文不作数)。

            感觉mlx还有很大的优化空间。

            虚心交流,一起进步

            1 条回复 最后回复
            0
            • williamlouisW
              williamlouisW
              williamlouis
              易有太极
              编写于 最后由 编辑
              #31

              速度应该和功耗有个比较。
              两者的功耗比,辛苦有空的时候做个比较。

              个人主页:xlkj.org Telegram https://t.me/xlkjorg

              1 条回复 最后回复
              0
              • ivan lanI
                ivan lanI
                ivan lan
                贵族大夫
                编写于 最后由 编辑
                #32

                mlx平台不熟悉,让我先熟悉,后期给大家一个完整的测评

                1 条回复 最后回复
                0
                • 疼哥蛋疼
                  疼哥蛋疼
                  疼哥蛋
                  编写于 最后由 编辑
                  #33

                  好奇下 Mac 4台 M5 Ultra 512GB 能有啥效果,DS 4.1 原版能上 80 t/S 么

                  ivan lanI 1 条回复 最后回复
                  0
                  • 疼哥蛋疼 疼哥蛋

                    好奇下 Mac 4台 M5 Ultra 512GB 能有啥效果,DS 4.1 原版能上 80 t/S 么

                    ivan lanI
                    ivan lanI
                    ivan lan
                    贵族大夫
                    编写于 最后由 编辑
                    #34

                    @疼哥蛋 瓶颈就是雷电五了

                    1 条回复 最后回复
                    0
                    • cc tgoC cc tgo

                      我除了想知道这个测试,更想知道两台256G是不是会比单台512g更快些。让我后续也有个念想。大佬你要不再弄两台256G, 我一定围观捧场。😍

                      terryT
                      terryT
                      terry
                      易有太极
                      编写于 最后由 编辑
                      #35

                      @cc-tgo 你在你的测试帖子中@他不就行了,让 @ivan-lan 和你测试同一个流程。我正好再水一个视频。

                      油管:https://www.youtube.com/@抡锤者

                      ivan lanI 1 条回复 最后回复
                      0
                      • ,terryT terry 引用了 此主题
                      • terryT terry

                        @cc-tgo 你在你的测试帖子中@他不就行了,让 @ivan-lan 和你测试同一个流程。我正好再水一个视频。

                        ivan lanI
                        ivan lanI
                        ivan lan
                        贵族大夫
                        编写于 最后由 编辑
                        #36

                        @terry 不是烂尾了,是mlx-serve和omlx两个推理引擎出的结果,差别很大,前者号称是C++替换Pytorch,性能很高,但是实际性能还不如olmx,而且tps的计算方法都有问题,我尽快把长文本和能耗用omlx测下;

                        1 条回复 最后回复
                        1
                        • ivan lanI
                          ivan lanI
                          ivan lan
                          贵族大夫
                          编写于 最后由 编辑
                          #37

                          老特一句话,赶紧测试
                          过程中的截图,目前在:512K × 8 并发,DSpark 关闭。每路约 50 万输入 token
                          image.jpeg
                          发张图,说明我在干活 @terry

                          terryT 1 条回复 最后回复
                          1
                          • ivan lanI ivan lan

                            老特一句话,赶紧测试
                            过程中的截图,目前在:512K × 8 并发,DSpark 关闭。每路约 50 万输入 token
                            image.jpeg
                            发张图,说明我在干活 @terry

                            terryT
                            terryT
                            terry
                            易有太极
                            编写于 最后由 编辑
                            #38

                            @ivan-lan 不着急,我什么时候都能水视频,现在在筹备新频道,完全躺平。

                            油管:https://www.youtube.com/@抡锤者

                            ivan lanI 1 条回复 最后回复
                            0
                            • terryT terry

                              @ivan-lan 不着急,我什么时候都能水视频,现在在筹备新频道,完全躺平。

                              ivan lanI
                              ivan lanI
                              ivan lan
                              贵族大夫
                              编写于 最后由 编辑
                              #39

                              @terry ComfyUI频道?我等好久了

                              terryT 1 条回复 最后回复
                              0
                              • ivan lanI ivan lan

                                @terry ComfyUI频道?我等好久了

                                terryT
                                terryT
                                terry
                                易有太极
                                编写于 最后由 编辑
                                #40

                                @ivan-lan 是的,需要构思创意,其实技术难度不高,就是创意。

                                油管:https://www.youtube.com/@抡锤者

                                1 条回复 最后回复
                                0
                                • ivan lanI
                                  ivan lanI
                                  ivan lan
                                  贵族大夫
                                  编写于 最后由 编辑
                                  #41

                                  交作业:https://lcz.me/topic/3184

                                  1 条回复 最后回复
                                  0

                                  你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                  厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                  有了你的建议,这篇帖子会更精彩哦 💗

                                  注册 登录
                                  回复
                                  • 在新帖中回复
                                  登录后回复
                                  • 从旧到新
                                  • 从新到旧
                                  • 最多赞同


                                  • 登录

                                  • 登录或注册以进行搜索。
                                  • 第一个帖子
                                    最后一个帖子
                                  0
                                  • 版块
                                  • 最新
                                  • 标签
                                  • 热门
                                  • 用户
                                  • 群组