跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. 随便聊聊
  3. 關於GB10跟N1X

關於GB10跟N1X

已定时 已固定 已锁定 已移动 随便聊聊
gb10
22 帖子 6 发布者 278 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT terry

    @怪物 395b对于你跑Agent也不会更好,本地模型不会比在线的更好,无论你部署多大的。长期用建议你切换到DeepSeek,你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域,但是很重要,在这个领域27b稠密模型有天然的推理效率优势,它只是很耗资源而已。如果你一定要全部本地,那么再买一个Pro6000确实很好,因为它确实很牛逼。

    怪物怪 离线
    怪物怪 离线
    怪物
    德高望重
    编写于 最后由 编辑
    #13

    @terry 好的,謝謝您的建議,我再來試試很多人推薦的27b模型,只是我不懂:稠密模型,是有特別的含義嗎?請問您知道有千問27b稠密無審查的模型嗎?有的話請問他的完整檔名是?我再用AI搜尋下載試試,謝謝

    kop wangK terryT 2 条回复 最后回复
    0
    • 怪物怪 怪物

      @kop-wang 感謝您的分析,我沒用過qwen27b的模型,但是我裝過qeen3.5:35b fp16的無審查模型,在hermes底下,分析限制級圖片的結果比122b模型還簡陋很多,也更容易罷工,我是以為35b的應該會比27b的強(是嗎?),但是很多人都推薦千問27b的模型,晚上我再來下載看看,請問您知道27b稠密無審查模型的完整名稱嗎?謝謝

      kop wangK 离线
      kop wangK 离线
      kop wang
      超级版主
      编写于 最后由 编辑
      #14

      @怪物 楼主的错误可以理解,很多人人为模型的“体量”=“能力”。但实际上并不是如此。

      体量只决定静态知识储备和统计学趋势(类似于一个人没手机,无工具情况下,自己的脑子里的知识总量和思维判断)。

      能力就更为复杂一些。举个简单粗暴的例子,一个小学生+google,知识体量也一定赢过大学生自身脑容量,但是实际场景的问题解决,则不见得谁更强。

      所以认知模型能力更相对客观的是看benchmark,也就是跑分。
      我比较常用参考的跑分网站:https://benchlm.ai/llm-agent-benchmarks

      我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive

      仅供参考。

      虚心交流,一起进步

      怪物怪 1 条回复 最后回复
      3
      • 怪物怪 怪物

        @566656661 感謝您的分析,我想用更大的模型也不是為了多少能力,只是希望在hermes底下運作時不要常罷工,謝謝

        5 离线
        5 离线
        566656661
        超凡大师
        编写于 最后由 566656661 编辑
        #15

        @怪物 说:

        在hermes底下運作時不要常罷工,謝謝

        我因為還沒有在Hermes上面遇到過罷工或者卡住的情況所以沒辦法給太多意見

        OpenCode偶爾會卡住, 需要我踢一踢它

        @怪物 说:

        27b稠密無審查模型的完整名稱

        我自己是在vLLM上用Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP, llama.cpp找一找帶有abliterated或者heretic字眼的模型就可以, 估計也有很多 (當然Uncensored也可以)

        怪物怪 1 条回复 最后回复
        1
        • 怪物怪 怪物

          @terry 好的,謝謝您的建議,我再來試試很多人推薦的27b模型,只是我不懂:稠密模型,是有特別的含義嗎?請問您知道有千問27b稠密無審查的模型嗎?有的話請問他的完整檔名是?我再用AI搜尋下載試試,謝謝

          kop wangK 离线
          kop wangK 离线
          kop wang
          超级版主
          编写于 最后由 kop wang 编辑
          #16

          @怪物 稠密模型是相较于MoE模型来讲的。MoE是一个新技术,大知识总量,但是每次运行的时候只调用一部分参数,从而加快推理速度。

          比如楼主说的Qwen3.6-35B-A3B,就是他的模型总知识量是35B参数,但每次运行,只会针对性使用3B参数来参与。

          但是对于个人部署来讲,限制瓶颈普遍不在推理性能,而在内存总量,所以巨大的MoE模型对于个人部署价值非常有限。而小MoE模型,因为执行时参与运算的参数又过少,难免影响其注意力和推理能力。

          虚心交流,一起进步

          1 条回复 最后回复
          1
          • terryT terry

            @怪物 395b对于你跑Agent也不会更好,本地模型不会比在线的更好,无论你部署多大的。长期用建议你切换到DeepSeek,你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域,但是很重要,在这个领域27b稠密模型有天然的推理效率优势,它只是很耗资源而已。如果你一定要全部本地,那么再买一个Pro6000确实很好,因为它确实很牛逼。

            怪物怪 离线
            怪物怪 离线
            怪物
            德高望重
            编写于 最后由 编辑
            #17

            terry 好的,謝謝

            1 条回复 最后回复
            0
            • 怪物怪 怪物

              @terry 好的,謝謝您的建議,我再來試試很多人推薦的27b模型,只是我不懂:稠密模型,是有特別的含義嗎?請問您知道有千問27b稠密無審查的模型嗎?有的話請問他的完整檔名是?我再用AI搜尋下載試試,謝謝

              terryT 在线
              terryT 在线
              terry
              超级版主
              编写于 最后由 编辑
              #18

              @怪物 如果要分析图片,还是大点的模型,122b这样的会更好,越大越好,理论上覆盖面更广,122b足够了。

              油管:https://www.youtube.com/@抡锤者

              1 条回复 最后回复
              1
              • 怪物怪 怪物

                @CHIA-AN-YANG 您好,我覺得多一張96G顯卡,應該是目前環境下最順的,可是192G顯存跑不了375b的模型,我也不知道375b有沒有真的比較好,謝謝

                CHIA AN YANGC 离线
                CHIA AN YANGC 离线
                CHIA AN YANG
                技术大牛 劳动模范
                编写于 最后由 编辑
                #19

                @怪物 如果兩張pro6000可以跑deepseek v4 flash 體驗應該是很不錯的,另外你把模型改用 qwen3.6 27b看看你會開心很多,我目前7900xtx 24g,單卡就玩的飛起了,讓cc or codex幫你把hermes你平常的工作流跑通寫成skill給hermes會好用很多的!!供你參考

                怪物怪 1 条回复 最后回复
                1
                • CHIA AN YANGC CHIA AN YANG

                  @怪物 如果兩張pro6000可以跑deepseek v4 flash 體驗應該是很不錯的,另外你把模型改用 qwen3.6 27b看看你會開心很多,我目前7900xtx 24g,單卡就玩的飛起了,讓cc or codex幫你把hermes你平常的工作流跑通寫成skill給hermes會好用很多的!!供你參考

                  怪物怪 离线
                  怪物怪 离线
                  怪物
                  德高望重
                  编写于 最后由 编辑
                  #20

                  CHIA-AN-YANG 原來可以自己寫成sk(英文我實在記不住),我再問AI來試試,謝謝

                  1 条回复 最后回复
                  0
                  • kop wangK kop wang

                    @怪物 楼主的错误可以理解,很多人人为模型的“体量”=“能力”。但实际上并不是如此。

                    体量只决定静态知识储备和统计学趋势(类似于一个人没手机,无工具情况下,自己的脑子里的知识总量和思维判断)。

                    能力就更为复杂一些。举个简单粗暴的例子,一个小学生+google,知识体量也一定赢过大学生自身脑容量,但是实际场景的问题解决,则不见得谁更强。

                    所以认知模型能力更相对客观的是看benchmark,也就是跑分。
                    我比较常用参考的跑分网站:https://benchlm.ai/llm-agent-benchmarks

                    我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive

                    仅供参考。

                    怪物怪 离线
                    怪物怪 离线
                    怪物
                    德高望重
                    编写于 最后由 编辑
                    #21

                    @kop-wang 我下載了您留的27B模型,下班忙到現在,我的hermes還沒成功連上去,等明後天放假再來慢慢弄,謝謝

                    1 条回复 最后回复
                    0
                    • 5 566656661

                      @怪物 说:

                      在hermes底下運作時不要常罷工,謝謝

                      我因為還沒有在Hermes上面遇到過罷工或者卡住的情況所以沒辦法給太多意見

                      OpenCode偶爾會卡住, 需要我踢一踢它

                      @怪物 说:

                      27b稠密無審查模型的完整名稱

                      我自己是在vLLM上用Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP, llama.cpp找一找帶有abliterated或者heretic字眼的模型就可以, 估計也有很多 (當然Uncensored也可以)

                      怪物怪 离线
                      怪物怪 离线
                      怪物
                      德高望重
                      编写于 最后由 编辑
                      #22

                      @566656661 好的,謝謝

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组