跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 本地AI硬件焦虑个锤子!看看好消息吧

本地AI硬件焦虑个锤子!看看好消息吧

已定时 已固定 已锁定 已移动 热议 LLM讨论区
本地模型
28 帖子 15 发布者 615 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Lei GaoL
    Lei GaoL
    Lei Gao
    编写于 最后由 编辑
    #15

    为什么这些框架都是老外的? 有咱们自己的吗?

    fcmeF 1 条回复 最后回复
    0
    • David ChenD
      David ChenD
      David Chen
      贵族大夫 硕果累累
      编写于 最后由 编辑
      #16

      從2022 2023 gpt出世
      考慮智能,所需記憶容量
      基本上每年是以十倍的速度增加
      也就是這三年
      我們已經改善1000倍了

      fcmeF 1 条回复 最后回复
      0
      • 懒人烘培懒
        懒人烘培懒
        懒人烘培
        体面乡绅 硕果累累
        编写于 最后由 编辑
        #17

        感觉可以,慢慢好好起来了

        双 7900 XTX:模型本地跑,Token 随便烧!

        fcmeF 1 条回复 最后回复
        0
        • XiaoteX
          XiaoteX
          Xiaote
          编写于 最后由 编辑
          #18

          🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

          奖励凭证:热议 +3 分 · 编号 h2524-1686-1(系统自动发放,显示稍有延迟)

          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

          1 条回复 最后回复
          0
          • rock shiR rock shi

            @fcme 对,32k放显存,其余的放内存,pcie搬运。个人体验速度几乎没啥影响,似乎还快了一点。显存压力啥的小了很多

            Tzung-Ru TsaiT
            Tzung-Ru TsaiT
            Tzung-Ru Tsai
            编写于 最后由 Tzung-Ru Tsai 编辑
            #19
            此主題已被删除!
            1 条回复 最后回复
            0
            • stxpnetS stxpnet

              {A4A8DCF1-A929-42B8-B493-35C14F1C9A3C}.jpeg

              刚搜了一下paiton. 你们这R9700 也吃得太好了吧。。。。 羡慕嫉妒+后悔。

              johnnybegoodJ
              johnnybegoodJ
              johnnybegood
              王侯将相
              编写于 最后由 编辑
              #20

              @stxpnet 确实, 当年考虑过, 不过那个时候是单卡路线, 而且也是考虑cuda环境, 所以从 3090 开始入门, 现在看 R9700越来越接近神卡了。

              1 条回复 最后回复
              0
              • Lei GaoL Lei Gao

                为什么这些框架都是老外的? 有咱们自己的吗?

                fcmeF
                fcmeF
                fcme
                王侯将相
                编写于 最后由 编辑
                #21

                @Lei-Gao
                vLLM就是华人弄的,SGlang其实也差不多,AI领域华人无处不在的。这个Strata是个欧洲小伙。

                https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                Lei GaoL 1 条回复 最后回复
                0
                • David ChenD David Chen

                  從2022 2023 gpt出世
                  考慮智能,所需記憶容量
                  基本上每年是以十倍的速度增加
                  也就是這三年
                  我們已經改善1000倍了

                  fcmeF
                  fcmeF
                  fcme
                  王侯将相
                  编写于 最后由 编辑
                  #22

                  @David-Chen
                  是啊,这种性能越来越强,硬件需求越来越低,最后agi的趋势不变的。

                  https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                  1 条回复 最后回复
                  0
                  • 懒人烘培懒 懒人烘培

                    感觉可以,慢慢好好起来了

                    fcmeF
                    fcmeF
                    fcme
                    王侯将相
                    编写于 最后由 编辑
                    #23

                    @懒人烘培
                    是的,必须的

                    https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                    1 条回复 最后回复
                    0
                    • fcmeF fcme

                      @Lei-Gao
                      vLLM就是华人弄的,SGlang其实也差不多,AI领域华人无处不在的。这个Strata是个欧洲小伙。

                      Lei GaoL
                      Lei GaoL
                      Lei Gao
                      编写于 最后由 编辑
                      #24

                      @fcme 迟早会有吧,关键CUDA哪些年基础没没积累。

                      1 条回复 最后回复
                      0
                      • stxpnetS stxpnet

                        {A4A8DCF1-A929-42B8-B493-35C14F1C9A3C}.jpeg

                        刚搜了一下paiton. 你们这R9700 也吃得太好了吧。。。。 羡慕嫉妒+后悔。

                        shawn shenS
                        shawn shenS
                        shawn shen
                        编写于 最后由 编辑
                        #25

                        @stxpnet 已经果断上车双R9700了,刚买完发现又涨了2000

                        1 条回复 最后回复
                        0
                        • jenaflexJ
                          jenaflexJ
                          jenaflex
                          易有太极
                          编写于 最后由 jenaflex 编辑
                          #26

                          其实现在AI还是有短期泡沫破裂的风险,但问题不在于网上常说的AI能不能变现、能不能提高生产力。长期来看,AI带来生产力革命基本是确定的)。

                          而是眼下整个产业链的建设有些脱节:大量N卡已经生产出来在仓库,却还在等数据中心建好。老黄还是太贪心了。
                          像CoreWeave这种靠大量借钱造数据中心的公司,长债收益率一度达到16%。一旦投资者信心变弱,后续融资就可能出问题,甚至资金链断裂。“高利贷”已经借了,数据中心却还没建完,真在这时候爆雷,债权人手里可能只剩一堆难以变现的废铁。
                          那时候真的就有大船卡了,但上下游产业链也会完蛋,经济也继续下行,大家一起勒紧裤腰带。
                          出处:Moore's Law Is Dead
                          Youtube Video

                          1 条回复 最后回复
                          0
                          • johnnybegoodJ
                            johnnybegoodJ
                            johnnybegood
                            王侯将相
                            编写于 最后由 编辑
                            #27

                            你不买, 我不买, 明天还能降两百

                            W 1 条回复 最后回复
                            0
                            • johnnybegoodJ johnnybegood

                              你不买, 我不买, 明天还能降两百

                              W
                              W
                              wml-ai
                              体面乡绅 硕果累累
                              编写于 最后由 编辑
                              #28

                              @johnnybegood 说:

                              你不买, 我不买, 明天还能降两百

                              哈哈哈!大家共同的期待!

                              Windows-Mac-Linux-AI

                              1 条回复 最后回复
                              0

                              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                              厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                              有了你的建议,这篇帖子会更精彩哦 💗

                              注册 登录
                              回复
                              • 在新帖中回复
                              登录后回复
                              • 从旧到新
                              • 从新到旧
                              • 最多赞同


                              • 登录

                              • 登录或注册以进行搜索。
                              • 第一个帖子
                                最后一个帖子
                              0
                              • 版块
                              • 最新
                              • 标签
                              • 热门
                              • 用户
                              • 群组