跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. Qwen3.6 27b & DeepSeek V4 Flash跑Hermes 资料截图,生成网页。

Qwen3.6 27b & DeepSeek V4 Flash跑Hermes 资料截图,生成网页。

已定时 已固定 已锁定 已移动 AI Agent
hermesdeepseek
22 帖子 12 发布者 2.4k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Devin HiD Devin Hi

    ./llama.cpp/build/bin/llama-server
    -m ./models/Qwen3.6-27B-Q4_K_M.gguf
    --host 0.0.0.0
    --port 8081
    --ctx-size 131072
    --parallel 1
    --cache-type-k q8_0
    --cache-type-v q8_0
    --flash-attn on
    --mlock
    --reasoning-budget 0

    7900XTX完全可以跑通,而且体感良好

    terryT 在线
    terryT 在线
    terry
    超级版主
    发表于 最后由 编辑
    #11

    @Devin-Hi 👍

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    0
    • Chuyao ChenC 离线
      Chuyao ChenC 离线
      Chuyao Chen
      发表于 最后由 编辑
      #12

      看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

      抡 Dalu FamaD Vivid VectorV 3 条回复 最后回复
      0
      • Chuyao ChenC Chuyao Chen

        看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

        抡 离线
        抡 离线
        抡锤者
        发表于 最后由 编辑
        #13
        此主題已被删除!
        1 条回复 最后回复
        0
        • Chuyao ChenC Chuyao Chen

          看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

          Dalu FamaD 离线
          Dalu FamaD 离线
          Dalu Fama
          发表于 最后由 编辑
          #14

          @Chuyao-Chen 骗子哪里

          1 条回复 最后回复
          0
          • Chuyao ChenC Chuyao Chen

            看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

            Vivid VectorV 离线
            Vivid VectorV 离线
            Vivid Vector
            发表于 最后由 编辑
            #15

            @Chuyao-Chen
            阉割版的RTX 6000D 84GB 是这个价格

            1 条回复 最后回复
            0
            • terryT terry

              @pilipala 注册资本都很低,用2年没了,你卡坏了,找京东,你是和京东购买的,它必须保你,你不要管京东怎么处理,它会想办法搞定的。2.2我真没看到,淘宝都2.4,京东第三方2.58

              P 离线
              P 离线
              pilipala
              德高望重 劳动模范
              发表于 最后由 编辑
              #16

              @terry 锤哥应该不逛海鲜市场和拼夕夕……

              terryT 1 条回复 最后回复
              0
              • P pilipala

                @terry 锤哥应该不逛海鲜市场和拼夕夕……

                terryT 在线
                terryT 在线
                terry
                超级版主
                发表于 最后由 编辑
                #17

                @pilipala 我买不太在乎坏掉的会拼夕夕,淘宝系列现在基本不碰了,服务扯皮。

                油管:https://www.youtube.com/@抡锤者

                1 条回复 最后回复
                0
                • terryT terry 于 将此主题从 LLM讨论区 移至此处
                • Devin HiD Devin Hi

                  ./llama.cpp/build/bin/llama-server
                  -m ./models/Qwen3.6-27B-Q4_K_M.gguf
                  --host 0.0.0.0
                  --port 8081
                  --ctx-size 131072
                  --parallel 1
                  --cache-type-k q8_0
                  --cache-type-v q8_0
                  --flash-attn on
                  --mlock
                  --reasoning-budget 0

                  7900XTX完全可以跑通,而且体感良好

                  X 离线
                  X 离线
                  xping
                  发表于 最后由 编辑
                  #18

                  @Devin-Hi 好像qwen3.6-27b必须开--mmproj 支持视觉路由,不然推理速度有损失,还有您这个配置文件没加-ngl 999把模型全部加载入显存。

                  1 条回复 最后回复
                  1
                  • VS StudioV VS Studio

                    RTX3090

                    git clone https://github.com/TheTom/llama-cpp-turboquant
                    cmake -B build -DGGML_CUDA=ON
                    cmake --build build --config Release

                    llama-cli -m d:\llama.cpp\models\Qwen_Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 99 --no-mmap --mlock --cache-type-k turbo4 --cache-type-v turbo3 --ctx-size 262144 --flash-attn on

                    Write me a poem
                    [ Prompt: 187.8 t/s | Generation: 127.0 t/s ]

                    请问这个速度是正常吗?35B 的千问有那么快吗?

                    yesen19771004Y 离线
                    yesen19771004Y 离线
                    yesen19771004
                    发表于 最后由 编辑
                    #19

                    @VS-Studio 很正常,我的amd小主机,780m跑他都有30多 t/s。

                    1 条回复 最后回复
                    0
                    • Devin HiD 离线
                      Devin HiD 离线
                      Devin Hi
                      发表于 最后由 编辑
                      #20

                      我的模型是Qwen3.6-27B-Q4_K_M.gguf ,即便加了,也无法支持多模态,需要相应的多模态的模型

                      terryT 1 条回复 最后回复
                      0
                      • Devin HiD Devin Hi

                        我的模型是Qwen3.6-27B-Q4_K_M.gguf ,即便加了,也无法支持多模态,需要相应的多模态的模型

                        terryT 在线
                        terryT 在线
                        terry
                        超级版主
                        发表于 最后由 编辑
                        #21

                        @Devin-Hi 不会吧,我也用的这个啊,换个其他地方下载看看呢?

                        油管:https://www.youtube.com/@抡锤者

                        1 条回复 最后回复
                        0
                        • M mraksugar 于 引用了 此主题
                        • wwcd2016W 离线
                          wwcd2016W 离线
                          wwcd2016
                          编写于 最后由 编辑
                          #22

                          好吧。周末没事,让hermes 配置你说的,一模一样复刻,然后最简单的 脚本修改,都出错,当然,他会自己修复。但是:
                          目前最原始的,5月份的qwen 3.6 27b 4bit量化版,除了速度只有30-40之间,从来没有出这么低级错误。

                          贴一下000
                          ╭─ ⚕ Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
                          等等,第17行 \\ 变成四个反斜杠了!VBS 里字符串里的 \ 才代表一个 \。现在写成了 \\,路径会变成 C:\Users\...(双反斜杠),Windows 可能找不到。让我修正:

                          ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
                          ┊ 🔧 preparing patch…
                          ┊ 🔧 patch C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs 0.7s
                          ┊ review diff
                          a/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs → b/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs
                          @@ -14,4 +14,4 @@
                          env.Item("PYTHONPATH") = "C:\Users\46049\AppData\Local\hermes\hermes-agent;C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Lib\site-packages"
                          End If
                          sh.CurrentDirectory = "C:\Users\46049\AppData\Local\hermes"
                          -sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
                          +sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
                          ┊ 📖 preparing read_file…
                          ┊ 📖 read Hermes_Gateway.vbs 0.4s

                          ╭─ ⚕ Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
                          好,第17行现在是正确的 VBS 语法:sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False

                          现在测试一下完整的启动链:
                          
                          1 条回复 最后回复
                          0

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 没有帐号? 注册

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组