跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 小白到能玩# 4080 SUPER 32G 跑 Qwen3.8-27B 无审查版(Q6_K) 实测61.7t/s 完整部署与实测指南,自己从27t/s一路调上来的,分享给大家

小白到能玩# 4080 SUPER 32G 跑 Qwen3.8-27B 无审查版(Q6_K) 实测61.7t/s 完整部署与实测指南,自己从27t/s一路调上来的,分享给大家

已定时 已固定 已锁定 已移动 LLM讨论区
rtx4080sqwen-27b
17 帖子 8 发布者 1.0k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Dady PanD
    Dady PanD
    Dady Pan
    发表于 最后由 编辑
    #6

    速度不错 上下文短了点

    1 条回复 最后回复
    0
    • johnnybegoodJ johnnybegood

      @CHAO-WANG 说:

      --reasoning off

      --reasoning off 会变得很傻

      CHAO WANGC
      CHAO WANGC
      CHAO WANG
      发表于 最后由 编辑
      #7

      @johnnybegood
      真的,但要分场景,不是全面变傻:

      对复杂推理/精确计算:会变笨。off 只是不让模型先想再答,权重没变,但少了 <think> 自我校验,多步算术容易翻车
      对普通问答/创作/常规代码:几乎没差别,甚至更利落。
      对 agent/工具调用:off 反而是对的,思考链会把输出预算吃光(你自己 9/3 实测过 8192 全被 <think> 吃掉、正文空白)。
      所以正解不是"永远 off"或"永远 on",而是:服务端保持 off(保工具调用稳定),难题按请求临时开思考——请求体加 "chat_template_kwargs": {"enable_thinking": true} 即可

      1 条回复 最后回复
      0
      • johnnybegoodJ johnnybegood

        @CHAO-WANG 都能玩什么?

        CHAO WANGC
        CHAO WANGC
        CHAO WANG
        发表于 最后由 编辑
        #8

        @johnnybegood
        比如问问一些敏感问题,还有一些黄色小要求啥的,能做的事情很多啊,写个啥爬虫软件等等自己想把,正常模型不让干的他能干。

        1 条回复 最后回复
        1
        • terryT terry 于 将此主题固定
        • imbiplaza ASUSI
          imbiplaza ASUSI
          imbiplaza ASUS
          谪仙人
          发表于 最后由 imbiplaza ASUS 编辑
          #9

          我可以分享我的经验。。。有时候快,也要顾及出品

          我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

          我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

          期间更换了几个model,他们的model出品都有瑕疵,
          hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

          后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

          执行起来他是最慢的,但是凑合用还是可以

          Screenshot 2026-09-07 011522.jpg

          Screenshot 2026-09-07 011622.png

          后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

          Screenshot 2026-09-07 011857.png

          所以说真正能够让我本地模型投产的是Qwen3.8 27b

          毅袁毅 CHAO WANGC johnnybegoodJ 3 条回复 最后回复
          2
          • imbiplaza ASUSI imbiplaza ASUS

            我可以分享我的经验。。。有时候快,也要顾及出品

            我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

            我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

            期间更换了几个model,他们的model出品都有瑕疵,
            hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

            后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

            执行起来他是最慢的,但是凑合用还是可以

            Screenshot 2026-09-07 011522.jpg

            Screenshot 2026-09-07 011622.png

            后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

            Screenshot 2026-09-07 011857.png

            所以说真正能够让我本地模型投产的是Qwen3.8 27b

            毅袁毅
            毅袁毅
            毅袁
            发表于 最后由 编辑
            #10

            @imbiplaza-ASUS
            14768091-8094-4e38-abcf-9c693c06d5dd-image.jpeg

            大佬,这个设置界面是自制的吗?看起来很惊艳,可否分享下?
            拜谢!

            imbiplaza ASUSI 1 条回复 最后回复
            0
            • imbiplaza ASUSI imbiplaza ASUS

              我可以分享我的经验。。。有时候快,也要顾及出品

              我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

              我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

              期间更换了几个model,他们的model出品都有瑕疵,
              hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

              后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

              执行起来他是最慢的,但是凑合用还是可以

              Screenshot 2026-09-07 011522.jpg

              Screenshot 2026-09-07 011622.png

              后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

              Screenshot 2026-09-07 011857.png

              所以说真正能够让我本地模型投产的是Qwen3.8 27b

              CHAO WANGC
              CHAO WANGC
              CHAO WANG
              发表于 最后由 编辑
              #11

              @imbiplaza-ASUS 感谢大佬分享

              1 条回复 最后回复
              0
              • 毅袁毅 毅袁

                @imbiplaza-ASUS
                14768091-8094-4e38-abcf-9c693c06d5dd-image.jpeg

                大佬,这个设置界面是自制的吗?看起来很惊艳,可否分享下?
                拜谢!

                imbiplaza ASUSI
                imbiplaza ASUSI
                imbiplaza ASUS
                谪仙人
                发表于 最后由 编辑
                #12

                @毅袁 这个是lm studio 原本的设定

                毅袁毅 1 条回复 最后回复
                0
                • imbiplaza ASUSI imbiplaza ASUS

                  @毅袁 这个是lm studio 原本的设定

                  毅袁毅
                  毅袁毅
                  毅袁
                  发表于 最后由 编辑
                  #13

                  @imbiplaza-ASUS 感谢回复,我去研究下👍

                  1 条回复 最后回复
                  0
                  • imbiplaza ASUSI imbiplaza ASUS

                    我可以分享我的经验。。。有时候快,也要顾及出品

                    我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

                    我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

                    期间更换了几个model,他们的model出品都有瑕疵,
                    hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

                    后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

                    执行起来他是最慢的,但是凑合用还是可以

                    Screenshot 2026-09-07 011522.jpg

                    Screenshot 2026-09-07 011622.png

                    后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

                    Screenshot 2026-09-07 011857.png

                    所以说真正能够让我本地模型投产的是Qwen3.8 27b

                    johnnybegoodJ
                    johnnybegoodJ
                    johnnybegood
                    王侯将相
                    发表于 最后由 编辑
                    #14

                    @imbiplaza-ASUS 新出了个
                    DavidAU
                    /
                    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                    imbiplaza ASUSI E 2 条回复 最后回复
                    0
                    • johnnybegoodJ johnnybegood

                      @imbiplaza-ASUS 新出了个
                      DavidAU
                      /
                      Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                      imbiplaza ASUSI
                      imbiplaza ASUSI
                      imbiplaza ASUS
                      谪仙人
                      发表于 最后由 编辑
                      #15

                      @johnnybegood

                      等我搞定我得漫画动画再来折腾

                      Recording 2026-09-07 155118.mp4

                      1 条回复 最后回复
                      0
                      • 系统 于 取消固定此主题
                      • 暧
                        暧
                        暧昧光影
                        发表于 最后由 编辑
                        #16

                        Mark一下,3.8还没来得及部署

                        1 条回复 最后回复
                        0
                        • johnnybegoodJ johnnybegood

                          @imbiplaza-ASUS 新出了个
                          DavidAU
                          /
                          Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                          E
                          E
                          Enigma
                          体面乡绅
                          发表于 最后由 编辑
                          #17

                          @johnnybegood 说:

                          @imbiplaza-ASUS 新出了个
                          DavidAU
                          /
                          Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                          Mark.

                          1 条回复 最后回复
                          0

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组