跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. R9700 ai pro 32G 跑大模型还是很给力的,速度也不错

R9700 ai pro 32G 跑大模型还是很给力的,速度也不错

已定时 已固定 已锁定 已移动 AI硬件
amdr9700
20 帖子 12 发布者 446 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • S sospda

    其实各种模型都装过的, 不下10种, 这个35B A3B跑下来没什么问题,比较流畅。用起来相对够用,简单数学题也都能跑。暂时留下了,其他模型也都还在试, 看哪个好用就留哪个。

    kop wangK 离线
    kop wangK 离线
    kop wang
    编写于 最后由 编辑
    #11

    @sospda 从模型能力来讲肯定是qwen3.6-27B更强。和35B-A3B之间是benchmark大概10%的能力差距。
    对应的,相同硬件下,性能大概qwen3.6-35B-A3B的吞吐量应该是27B的三倍左右。

    虚心交流,一起进步

    1 条回复 最后回复
    0
    • terryT terry

      @kop-wang 其实本地模型最大的意义就是在于Agent,就它消耗Tokens又对智力有要求。其他场景都可以使用在线API,或者网页版本开发的程序替代。所以我一直认为,一个好的本地模型必须能跑顺Hermes,OpenClaw之类的Agent,否则没什么意义。当然了,多模态模型,功能性模型另说。

      B 离线
      B 离线
      Brian
      编写于 最后由 编辑
      #12

      @terry 有没有必要先连 deepseek api让hermes积累一些skills,再接qwen27b,感觉27b做研究不行,看长文件也不行,特别是联网有问题,开梯子也不行。不知道是不是配置的不对。
      感觉hermes不如claude cli 和 codex cli,但是接入后两个,也就打个招呼就断了,也都是用hermes 连deepseek pro配置的,不好搞,有没有什么思路提供,谢谢。

      terryT A 2 条回复 最后回复
      0
      • B Brian

        @terry 有没有必要先连 deepseek api让hermes积累一些skills,再接qwen27b,感觉27b做研究不行,看长文件也不行,特别是联网有问题,开梯子也不行。不知道是不是配置的不对。
        感觉hermes不如claude cli 和 codex cli,但是接入后两个,也就打个招呼就断了,也都是用hermes 连deepseek pro配置的,不好搞,有没有什么思路提供,谢谢。

        terryT 离线
        terryT 离线
        terry
        编写于 最后由 编辑
        #13

        @Brian
        1,如果说好用Cluade肯定好用,它说提示词和上下文过度使用的典范,缺点就是贵。
        2,恕我直言,99%的人只要使用Hermes+DeepSeek V4 Flash,就能完成他们99%的任务。剩下那1%是留给有大工程的人的差别环境,但如果这些人真的懂,DeepSeek V4 Pro或Qwen3.7 Max这样的国产模型也完全够用。
        3,使用DeepSeek先跑一次,只是节约时间,因为它快,我测试过完全删掉Hermes,重装,让Qwen3.6 27b从零开始,它依然能跑通。
        4,你连联网都配置不好,说明你对系统环境缺乏常识,终端默认不走梯子,需要你配置代理。一般的梯子比如V2Ray N,会在本地开HTTP或者Socks5代理,问下AI怎么配置。Hermes启动变量中也加入代理,防止未生效。这些东西是基本功,你要有耐心,配置不好,问题多半在你自己。
        5,Hermes初始化的时候,它执行网络任务如果失败,你要明确告诉它,使用CURL而不是Web Search执行基础网络任务。如果可以的话,你申请一个谷歌 Search给它,会更好。这些在视频里我都明确讲过,谷歌的免费额度也够用了,超过了收费也很便宜。配置这些的时候,让DeepSeek上,因为它更快。Hermes不需要安装skills,我一个都没安装,都是它自己总结的。

        油管:https://www.youtube.com/@抡锤者

        B 1 条回复 最后回复
        0
        • 张老师张 离线
          张老师张 离线
          张老师
          编写于 最后由 编辑
          #14

          很奇怪!视频与论坛中,老特强调了很多遍的Qwen3.6-27B要优于35B!还是有很多人喜欢35B!

          A williamlouisW 2 条回复 最后回复
          0
          • 张老师张 张老师

            很奇怪!视频与论坛中,老特强调了很多遍的Qwen3.6-27B要优于35B!还是有很多人喜欢35B!

            A 离线
            A 离线
            applejuice
            编写于 最后由 编辑
            #15

            @张老师 说:

            很奇怪!视频与论坛中,老特强调了很多遍的Qwen3.6-27B要优于35B!还是有很多人喜欢35B!

            因为快呗
            没关系 用了自然会懂

            1 条回复 最后回复
            0
            • B Brian

              @terry 有没有必要先连 deepseek api让hermes积累一些skills,再接qwen27b,感觉27b做研究不行,看长文件也不行,特别是联网有问题,开梯子也不行。不知道是不是配置的不对。
              感觉hermes不如claude cli 和 codex cli,但是接入后两个,也就打个招呼就断了,也都是用hermes 连deepseek pro配置的,不好搞,有没有什么思路提供,谢谢。

              A 离线
              A 离线
              applejuice
              编写于 最后由 applejuice 编辑
              #16

              @Brian 说:

              @terry 有没有必要先连 deepseek api让hermes积累一些skills,再接qwen27b,感觉27b做研究不行,看长文件也不行,特别是联网有问题,开梯子也不行。不知道是不是配置的不对。
              感觉hermes不如claude cli 和 codex cli,但是接入后两个,也就打个招呼就断了,也都是用hermes 连deepseek pro配置的,不好搞,有没有什么思路提供,谢谢。

              我刚刚把4份工作文件PDF 总共差不多600页
              感觉也还不错 我随便叫他帮我总结
              然后再抽个问题叫他找
              答案也对

              有了本地模型 我就完全放开全部文件都丢进去了

              1 条回复 最后回复
              0
              • Hank WangH 离线
                Hank WangH 离线
                Hank Wang
                编写于 最后由 编辑
                #17

                35b没有意义,a3b可能跟4b或者9b能力差不多。写的代码基本都是无法运行的。看着生成一大堆代码,一堆错,调试能力更是没有。假装一顿调试,结果出更多bug。27b明显能力高出一截,经常是正确代码,有错也勉强能自己调式

                1 条回复 最后回复
                0
                • terryT terry

                  @Brian
                  1,如果说好用Cluade肯定好用,它说提示词和上下文过度使用的典范,缺点就是贵。
                  2,恕我直言,99%的人只要使用Hermes+DeepSeek V4 Flash,就能完成他们99%的任务。剩下那1%是留给有大工程的人的差别环境,但如果这些人真的懂,DeepSeek V4 Pro或Qwen3.7 Max这样的国产模型也完全够用。
                  3,使用DeepSeek先跑一次,只是节约时间,因为它快,我测试过完全删掉Hermes,重装,让Qwen3.6 27b从零开始,它依然能跑通。
                  4,你连联网都配置不好,说明你对系统环境缺乏常识,终端默认不走梯子,需要你配置代理。一般的梯子比如V2Ray N,会在本地开HTTP或者Socks5代理,问下AI怎么配置。Hermes启动变量中也加入代理,防止未生效。这些东西是基本功,你要有耐心,配置不好,问题多半在你自己。
                  5,Hermes初始化的时候,它执行网络任务如果失败,你要明确告诉它,使用CURL而不是Web Search执行基础网络任务。如果可以的话,你申请一个谷歌 Search给它,会更好。这些在视频里我都明确讲过,谷歌的免费额度也够用了,超过了收费也很便宜。配置这些的时候,让DeepSeek上,因为它更快。Hermes不需要安装skills,我一个都没安装,都是它自己总结的。

                  B 离线
                  B 离线
                  Brian
                  编写于 最后由 编辑
                  #18

                  @Terry 确实,网配不好说明了一个问题,一个人不是不努力,也不是不学习,是没有意识,1是问AI问不到点子上,2是AI回答了也不见得看明白。门槛跨不过去就放弃了。

                  我一直想用大模型+提示词+搜索做一个稳定的多文档生成系统,文档之间逻辑相关。业余时间搞了个软件。
                  听你说模型的变化会导致输出不稳定,我觉得很有道理,我也试了不同家的api出来的差别很大。所以就搞个本地27b试试水。
                  claude做的太好了,自己的llm+agent确实是典范,普通人有没有必要自己搞个软件接自己部署的本地API,还是直接拥抱claude和codex,但是持续给claude和codex输送最佳实践会加速自己被取代。
                  提个问题,希望可以做你的视频素材

                  1 条回复 最后回复
                  0
                  • 张老师张 张老师

                    很奇怪!视频与论坛中,老特强调了很多遍的Qwen3.6-27B要优于35B!还是有很多人喜欢35B!

                    williamlouisW 离线
                    williamlouisW 离线
                    williamlouis
                    编写于 最后由 编辑
                    #19

                    @张老师 因为 装上跑一下就完事了。35B 我都2060 8G跑了一下。27B 稠密启动都启动不了。

                    个人主页:xlkj.org Telegram https://t.me/xlkjorg

                    1 条回复 最后回复
                    0
                    • S 在线
                      S 在线
                      sospda
                      编写于 最后由 编辑
                      #20

                      因为有些场景根部不需要特别严密和精准的逻辑推理, 只要能在一定范围内把一件事情定性就可以了。

                      有些简单推理场景下,35B A3B 和27B 达到的效果相同,但是速度差别极大。

                      有些本地的知识库,35B A3B 计算完只需要17.86s, 完全相同的场景用27B居然要117.06s.

                      体感差异巨大,所以在这种简单场景下,肯定就选35B了。

                      只能说各有强项,各有所用吧,根据自己的实际需要来确定用哪个模型。

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组