跳转至内容
  • 首页
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. 版块
  3. 随便聊聊
  4. 關於GB10跟N1X

關於GB10跟N1X

已定时 已固定 已锁定 已移动 随便聊聊
gb10
22 帖子 6 发布者 278 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • kop wangK kop wang

    通读了全文,很尴尬的一点是,从模型能力的角度考虑,目前并没有150~190GB能够吊打qwen3.6-27B的开源模型。

    目前而言,老的大体量模型体现的也只有知识容量的优势。Agent能力、注意力分配以及ToolCall能力在开源领域要么就是新的超大模型,要么就是qwen3.6-27B这类新的小模型。
    因为中等体量模型很长时间都没有更新过了。他们的后训练和能力对齐普遍跟不上时代需要。

    目前的中体量模型很像一个老教授。有知识,有认知,但是不会用手机,不会打字。

    所以如果是我,我就不会推荐楼主去购入新设备。边际收益递减的太过明显。无论是GB10 x2,还是RTX PRO 6000 x2,都没有明显超越PRO 6000 x1的场景出现。

    怪物怪 离线
    怪物怪 离线
    怪物
    德高望重
    编写于 最后由 编辑
    #12

    @kop-wang 感謝您的分析,我沒用過qwen27b的模型,但是我裝過qeen3.5:35b fp16的無審查模型,在hermes底下,分析限制級圖片的結果比122b模型還簡陋很多,也更容易罷工,我是以為35b的應該會比27b的強(是嗎?),但是很多人都推薦千問27b的模型,晚上我再來下載看看,請問您知道27b稠密無審查模型的完整名稱嗎?謝謝

    kop wangK 1 条回复 最后回复
    0
    • terryT terry

      @怪物 395b对于你跑Agent也不会更好,本地模型不会比在线的更好,无论你部署多大的。长期用建议你切换到DeepSeek,你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域,但是很重要,在这个领域27b稠密模型有天然的推理效率优势,它只是很耗资源而已。如果你一定要全部本地,那么再买一个Pro6000确实很好,因为它确实很牛逼。

      怪物怪 离线
      怪物怪 离线
      怪物
      德高望重
      编写于 最后由 编辑
      #13

      @terry 好的,謝謝您的建議,我再來試試很多人推薦的27b模型,只是我不懂:稠密模型,是有特別的含義嗎?請問您知道有千問27b稠密無審查的模型嗎?有的話請問他的完整檔名是?我再用AI搜尋下載試試,謝謝

      kop wangK terryT 2 条回复 最后回复
      0
      • 怪物怪 怪物

        @kop-wang 感謝您的分析,我沒用過qwen27b的模型,但是我裝過qeen3.5:35b fp16的無審查模型,在hermes底下,分析限制級圖片的結果比122b模型還簡陋很多,也更容易罷工,我是以為35b的應該會比27b的強(是嗎?),但是很多人都推薦千問27b的模型,晚上我再來下載看看,請問您知道27b稠密無審查模型的完整名稱嗎?謝謝

        kop wangK 离线
        kop wangK 离线
        kop wang
        超级版主
        编写于 最后由 编辑
        #14

        @怪物 楼主的错误可以理解,很多人人为模型的“体量”=“能力”。但实际上并不是如此。

        体量只决定静态知识储备和统计学趋势(类似于一个人没手机,无工具情况下,自己的脑子里的知识总量和思维判断)。

        能力就更为复杂一些。举个简单粗暴的例子,一个小学生+google,知识体量也一定赢过大学生自身脑容量,但是实际场景的问题解决,则不见得谁更强。

        所以认知模型能力更相对客观的是看benchmark,也就是跑分。
        我比较常用参考的跑分网站:https://benchlm.ai/llm-agent-benchmarks

        我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive

        仅供参考。

        虚心交流,一起进步

        怪物怪 1 条回复 最后回复
        3
        • 怪物怪 怪物

          @566656661 感謝您的分析,我想用更大的模型也不是為了多少能力,只是希望在hermes底下運作時不要常罷工,謝謝

          5 离线
          5 离线
          566656661
          超凡大师
          编写于 最后由 566656661 编辑
          #15

          @怪物 说:

          在hermes底下運作時不要常罷工,謝謝

          我因為還沒有在Hermes上面遇到過罷工或者卡住的情況所以沒辦法給太多意見

          OpenCode偶爾會卡住, 需要我踢一踢它

          @怪物 说:

          27b稠密無審查模型的完整名稱

          我自己是在vLLM上用Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP, llama.cpp找一找帶有abliterated或者heretic字眼的模型就可以, 估計也有很多 (當然Uncensored也可以)

          怪物怪 1 条回复 最后回复
          1
          • 怪物怪 怪物

            @terry 好的,謝謝您的建議,我再來試試很多人推薦的27b模型,只是我不懂:稠密模型,是有特別的含義嗎?請問您知道有千問27b稠密無審查的模型嗎?有的話請問他的完整檔名是?我再用AI搜尋下載試試,謝謝

            kop wangK 离线
            kop wangK 离线
            kop wang
            超级版主
            编写于 最后由 kop wang 编辑
            #16

            @怪物 稠密模型是相较于MoE模型来讲的。MoE是一个新技术,大知识总量,但是每次运行的时候只调用一部分参数,从而加快推理速度。

            比如楼主说的Qwen3.6-35B-A3B,就是他的模型总知识量是35B参数,但每次运行,只会针对性使用3B参数来参与。

            但是对于个人部署来讲,限制瓶颈普遍不在推理性能,而在内存总量,所以巨大的MoE模型对于个人部署价值非常有限。而小MoE模型,因为执行时参与运算的参数又过少,难免影响其注意力和推理能力。

            虚心交流,一起进步

            1 条回复 最后回复
            1
            • terryT terry

              @怪物 395b对于你跑Agent也不会更好,本地模型不会比在线的更好,无论你部署多大的。长期用建议你切换到DeepSeek,你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域,但是很重要,在这个领域27b稠密模型有天然的推理效率优势,它只是很耗资源而已。如果你一定要全部本地,那么再买一个Pro6000确实很好,因为它确实很牛逼。

              怪物怪 离线
              怪物怪 离线
              怪物
              德高望重
              编写于 最后由 编辑
              #17

              terry 好的,謝謝

              1 条回复 最后回复
              0
              • 怪物怪 怪物

                @terry 好的,謝謝您的建議,我再來試試很多人推薦的27b模型,只是我不懂:稠密模型,是有特別的含義嗎?請問您知道有千問27b稠密無審查的模型嗎?有的話請問他的完整檔名是?我再用AI搜尋下載試試,謝謝

                terryT 在线
                terryT 在线
                terry
                超级版主
                编写于 最后由 编辑
                #18

                @怪物 如果要分析图片,还是大点的模型,122b这样的会更好,越大越好,理论上覆盖面更广,122b足够了。

                油管:https://www.youtube.com/@抡锤者

                1 条回复 最后回复
                1
                • 怪物怪 怪物

                  @CHIA-AN-YANG 您好,我覺得多一張96G顯卡,應該是目前環境下最順的,可是192G顯存跑不了375b的模型,我也不知道375b有沒有真的比較好,謝謝

                  CHIA AN YANGC 在线
                  CHIA AN YANGC 在线
                  CHIA AN YANG
                  技术大牛 劳动模范
                  编写于 最后由 编辑
                  #19

                  @怪物 如果兩張pro6000可以跑deepseek v4 flash 體驗應該是很不錯的,另外你把模型改用 qwen3.6 27b看看你會開心很多,我目前7900xtx 24g,單卡就玩的飛起了,讓cc or codex幫你把hermes你平常的工作流跑通寫成skill給hermes會好用很多的!!供你參考

                  怪物怪 1 条回复 最后回复
                  1
                  • CHIA AN YANGC CHIA AN YANG

                    @怪物 如果兩張pro6000可以跑deepseek v4 flash 體驗應該是很不錯的,另外你把模型改用 qwen3.6 27b看看你會開心很多,我目前7900xtx 24g,單卡就玩的飛起了,讓cc or codex幫你把hermes你平常的工作流跑通寫成skill給hermes會好用很多的!!供你參考

                    怪物怪 离线
                    怪物怪 离线
                    怪物
                    德高望重
                    编写于 最后由 编辑
                    #20

                    CHIA-AN-YANG 原來可以自己寫成sk(英文我實在記不住),我再問AI來試試,謝謝

                    1 条回复 最后回复
                    0
                    • kop wangK kop wang

                      @怪物 楼主的错误可以理解,很多人人为模型的“体量”=“能力”。但实际上并不是如此。

                      体量只决定静态知识储备和统计学趋势(类似于一个人没手机,无工具情况下,自己的脑子里的知识总量和思维判断)。

                      能力就更为复杂一些。举个简单粗暴的例子,一个小学生+google,知识体量也一定赢过大学生自身脑容量,但是实际场景的问题解决,则不见得谁更强。

                      所以认知模型能力更相对客观的是看benchmark,也就是跑分。
                      我比较常用参考的跑分网站:https://benchlm.ai/llm-agent-benchmarks

                      我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive

                      仅供参考。

                      怪物怪 离线
                      怪物怪 离线
                      怪物
                      德高望重
                      编写于 最后由 编辑
                      #21

                      @kop-wang 我下載了您留的27B模型,下班忙到現在,我的hermes還沒成功連上去,等明後天放假再來慢慢弄,謝謝

                      1 条回复 最后回复
                      0
                      • 5 566656661

                        @怪物 说:

                        在hermes底下運作時不要常罷工,謝謝

                        我因為還沒有在Hermes上面遇到過罷工或者卡住的情況所以沒辦法給太多意見

                        OpenCode偶爾會卡住, 需要我踢一踢它

                        @怪物 说:

                        27b稠密無審查模型的完整名稱

                        我自己是在vLLM上用Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP, llama.cpp找一找帶有abliterated或者heretic字眼的模型就可以, 估計也有很多 (當然Uncensored也可以)

                        怪物怪 离线
                        怪物怪 离线
                        怪物
                        德高望重
                        编写于 最后由 编辑
                        #22

                        @566656661 好的,謝謝

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 没有帐号? 注册

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 首页
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组