跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. Qwen3.6 27b & DeepSeek V4 Flash跑Hermes 资料截图,生成网页。

Qwen3.6 27b & DeepSeek V4 Flash跑Hermes 资料截图,生成网页。

已定时 已固定 已锁定 已移动 AI Agent
hermesdeepseek
22 帖子 12 发布者 2.4k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Chuyao ChenC Chuyao Chen

    看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

    抡 离线
    抡 离线
    抡锤者
    发表于 最后由 编辑
    #13
    此主題已被删除!
    1 条回复 最后回复
    0
    • Chuyao ChenC Chuyao Chen

      看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

      Dalu FamaD 离线
      Dalu FamaD 离线
      Dalu Fama
      发表于 最后由 编辑
      #14

      @Chuyao-Chen 骗子哪里

      1 条回复 最后回复
      0
      • Chuyao ChenC Chuyao Chen

        看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

        Vivid VectorV 离线
        Vivid VectorV 离线
        Vivid Vector
        发表于 最后由 编辑
        #15

        @Chuyao-Chen
        阉割版的RTX 6000D 84GB 是这个价格

        1 条回复 最后回复
        0
        • terryT terry

          @pilipala 注册资本都很低,用2年没了,你卡坏了,找京东,你是和京东购买的,它必须保你,你不要管京东怎么处理,它会想办法搞定的。2.2我真没看到,淘宝都2.4,京东第三方2.58

          P 离线
          P 离线
          pilipala
          德高望重 劳动模范
          发表于 最后由 编辑
          #16

          @terry 锤哥应该不逛海鲜市场和拼夕夕……

          terryT 1 条回复 最后回复
          0
          • P pilipala

            @terry 锤哥应该不逛海鲜市场和拼夕夕……

            terryT 在线
            terryT 在线
            terry
            超级版主
            发表于 最后由 编辑
            #17

            @pilipala 我买不太在乎坏掉的会拼夕夕,淘宝系列现在基本不碰了,服务扯皮。

            油管:https://www.youtube.com/@抡锤者

            1 条回复 最后回复
            0
            • terryT terry 于 将此主题从 LLM讨论区 移至此处
            • Devin HiD Devin Hi

              ./llama.cpp/build/bin/llama-server
              -m ./models/Qwen3.6-27B-Q4_K_M.gguf
              --host 0.0.0.0
              --port 8081
              --ctx-size 131072
              --parallel 1
              --cache-type-k q8_0
              --cache-type-v q8_0
              --flash-attn on
              --mlock
              --reasoning-budget 0

              7900XTX完全可以跑通,而且体感良好

              X 离线
              X 离线
              xping
              发表于 最后由 编辑
              #18

              @Devin-Hi 好像qwen3.6-27b必须开--mmproj 支持视觉路由,不然推理速度有损失,还有您这个配置文件没加-ngl 999把模型全部加载入显存。

              1 条回复 最后回复
              1
              • VS StudioV VS Studio

                RTX3090

                git clone https://github.com/TheTom/llama-cpp-turboquant
                cmake -B build -DGGML_CUDA=ON
                cmake --build build --config Release

                llama-cli -m d:\llama.cpp\models\Qwen_Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 99 --no-mmap --mlock --cache-type-k turbo4 --cache-type-v turbo3 --ctx-size 262144 --flash-attn on

                Write me a poem
                [ Prompt: 187.8 t/s | Generation: 127.0 t/s ]

                请问这个速度是正常吗?35B 的千问有那么快吗?

                yesen19771004Y 离线
                yesen19771004Y 离线
                yesen19771004
                发表于 最后由 编辑
                #19

                @VS-Studio 很正常,我的amd小主机,780m跑他都有30多 t/s。

                1 条回复 最后回复
                0
                • Devin HiD 离线
                  Devin HiD 离线
                  Devin Hi
                  发表于 最后由 编辑
                  #20

                  我的模型是Qwen3.6-27B-Q4_K_M.gguf ,即便加了,也无法支持多模态,需要相应的多模态的模型

                  terryT 1 条回复 最后回复
                  0
                  • Devin HiD Devin Hi

                    我的模型是Qwen3.6-27B-Q4_K_M.gguf ,即便加了,也无法支持多模态,需要相应的多模态的模型

                    terryT 在线
                    terryT 在线
                    terry
                    超级版主
                    发表于 最后由 编辑
                    #21

                    @Devin-Hi 不会吧,我也用的这个啊,换个其他地方下载看看呢?

                    油管:https://www.youtube.com/@抡锤者

                    1 条回复 最后回复
                    0
                    • M mraksugar 于 引用了 此主题
                    • wwcd2016W 离线
                      wwcd2016W 离线
                      wwcd2016
                      编写于 最后由 编辑
                      #22

                      好吧。周末没事,让hermes 配置你说的,一模一样复刻,然后最简单的 脚本修改,都出错,当然,他会自己修复。但是:
                      目前最原始的,5月份的qwen 3.6 27b 4bit量化版,除了速度只有30-40之间,从来没有出这么低级错误。

                      贴一下000
                      ╭─ ⚕ Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
                      等等,第17行 \\ 变成四个反斜杠了!VBS 里字符串里的 \ 才代表一个 \。现在写成了 \\,路径会变成 C:\Users\...(双反斜杠),Windows 可能找不到。让我修正:

                      ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
                      ┊ 🔧 preparing patch…
                      ┊ 🔧 patch C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs 0.7s
                      ┊ review diff
                      a/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs → b/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs
                      @@ -14,4 +14,4 @@
                      env.Item("PYTHONPATH") = "C:\Users\46049\AppData\Local\hermes\hermes-agent;C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Lib\site-packages"
                      End If
                      sh.CurrentDirectory = "C:\Users\46049\AppData\Local\hermes"
                      -sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
                      +sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
                      ┊ 📖 preparing read_file…
                      ┊ 📖 read Hermes_Gateway.vbs 0.4s

                      ╭─ ⚕ Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
                      好,第17行现在是正确的 VBS 语法:sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False

                      现在测试一下完整的启动链:
                      
                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组