跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. Qwen3.6 27b & DeepSeek V4 Flash跑Hermes 资料截图,生成网页。

Qwen3.6 27b & DeepSeek V4 Flash跑Hermes 资料截图,生成网页。

已定时 已固定 已锁定 已移动 AI Agent
hermesdeepseek
22 帖子 12 发布者 2.4k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • VS StudioV VS Studio

    RTX3090

    git clone https://github.com/TheTom/llama-cpp-turboquant
    cmake -B build -DGGML_CUDA=ON
    cmake --build build --config Release

    llama-cli -m d:\llama.cpp\models\Qwen_Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 99 --no-mmap --mlock --cache-type-k turbo4 --cache-type-v turbo3 --ctx-size 262144 --flash-attn on

    Write me a poem
    [ Prompt: 187.8 t/s | Generation: 127.0 t/s ]

    请问这个速度是正常吗?35B 的千问有那么快吗?

    terryT 在线
    terryT 在线
    terry
    超级版主
    发表于 最后由 编辑
    #10

    @VS-Studio 35b moe正常。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    0
    • Devin HiD Devin Hi

      ./llama.cpp/build/bin/llama-server
      -m ./models/Qwen3.6-27B-Q4_K_M.gguf
      --host 0.0.0.0
      --port 8081
      --ctx-size 131072
      --parallel 1
      --cache-type-k q8_0
      --cache-type-v q8_0
      --flash-attn on
      --mlock
      --reasoning-budget 0

      7900XTX完全可以跑通,而且体感良好

      terryT 在线
      terryT 在线
      terry
      超级版主
      发表于 最后由 编辑
      #11

      @Devin-Hi 👍

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0
      • Chuyao ChenC 离线
        Chuyao ChenC 离线
        Chuyao Chen
        发表于 最后由 编辑
        #12

        看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

        抡 Dalu FamaD Vivid VectorV 3 条回复 最后回复
        0
        • Chuyao ChenC Chuyao Chen

          看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

          抡 离线
          抡 离线
          抡锤者
          发表于 最后由 编辑
          #13
          此主題已被删除!
          1 条回复 最后回复
          0
          • Chuyao ChenC Chuyao Chen

            看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

            Dalu FamaD 离线
            Dalu FamaD 离线
            Dalu Fama
            发表于 最后由 编辑
            #14

            @Chuyao-Chen 骗子哪里

            1 条回复 最后回复
            0
            • Chuyao ChenC Chuyao Chen

              看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。

              Vivid VectorV 离线
              Vivid VectorV 离线
              Vivid Vector
              发表于 最后由 编辑
              #15

              @Chuyao-Chen
              阉割版的RTX 6000D 84GB 是这个价格

              1 条回复 最后回复
              0
              • terryT terry

                @pilipala 注册资本都很低,用2年没了,你卡坏了,找京东,你是和京东购买的,它必须保你,你不要管京东怎么处理,它会想办法搞定的。2.2我真没看到,淘宝都2.4,京东第三方2.58

                P 离线
                P 离线
                pilipala
                德高望重 劳动模范
                发表于 最后由 编辑
                #16

                @terry 锤哥应该不逛海鲜市场和拼夕夕……

                terryT 1 条回复 最后回复
                0
                • P pilipala

                  @terry 锤哥应该不逛海鲜市场和拼夕夕……

                  terryT 在线
                  terryT 在线
                  terry
                  超级版主
                  发表于 最后由 编辑
                  #17

                  @pilipala 我买不太在乎坏掉的会拼夕夕,淘宝系列现在基本不碰了,服务扯皮。

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  0
                  • terryT terry 于 将此主题从 LLM讨论区 移至此处
                  • Devin HiD Devin Hi

                    ./llama.cpp/build/bin/llama-server
                    -m ./models/Qwen3.6-27B-Q4_K_M.gguf
                    --host 0.0.0.0
                    --port 8081
                    --ctx-size 131072
                    --parallel 1
                    --cache-type-k q8_0
                    --cache-type-v q8_0
                    --flash-attn on
                    --mlock
                    --reasoning-budget 0

                    7900XTX完全可以跑通,而且体感良好

                    X 离线
                    X 离线
                    xping
                    发表于 最后由 编辑
                    #18

                    @Devin-Hi 好像qwen3.6-27b必须开--mmproj 支持视觉路由,不然推理速度有损失,还有您这个配置文件没加-ngl 999把模型全部加载入显存。

                    1 条回复 最后回复
                    1
                    • VS StudioV VS Studio

                      RTX3090

                      git clone https://github.com/TheTom/llama-cpp-turboquant
                      cmake -B build -DGGML_CUDA=ON
                      cmake --build build --config Release

                      llama-cli -m d:\llama.cpp\models\Qwen_Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 99 --no-mmap --mlock --cache-type-k turbo4 --cache-type-v turbo3 --ctx-size 262144 --flash-attn on

                      Write me a poem
                      [ Prompt: 187.8 t/s | Generation: 127.0 t/s ]

                      请问这个速度是正常吗?35B 的千问有那么快吗?

                      yesen19771004Y 离线
                      yesen19771004Y 离线
                      yesen19771004
                      发表于 最后由 编辑
                      #19

                      @VS-Studio 很正常,我的amd小主机,780m跑他都有30多 t/s。

                      1 条回复 最后回复
                      0
                      • Devin HiD 离线
                        Devin HiD 离线
                        Devin Hi
                        发表于 最后由 编辑
                        #20

                        我的模型是Qwen3.6-27B-Q4_K_M.gguf ,即便加了,也无法支持多模态,需要相应的多模态的模型

                        terryT 1 条回复 最后回复
                        0
                        • Devin HiD Devin Hi

                          我的模型是Qwen3.6-27B-Q4_K_M.gguf ,即便加了,也无法支持多模态,需要相应的多模态的模型

                          terryT 在线
                          terryT 在线
                          terry
                          超级版主
                          发表于 最后由 编辑
                          #21

                          @Devin-Hi 不会吧,我也用的这个啊,换个其他地方下载看看呢?

                          油管:https://www.youtube.com/@抡锤者

                          1 条回复 最后回复
                          0
                          • M mraksugar 于 引用了 此主题
                          • wwcd2016W 离线
                            wwcd2016W 离线
                            wwcd2016
                            编写于 最后由 编辑
                            #22

                            好吧。周末没事,让hermes 配置你说的,一模一样复刻,然后最简单的 脚本修改,都出错,当然,他会自己修复。但是:
                            目前最原始的,5月份的qwen 3.6 27b 4bit量化版,除了速度只有30-40之间,从来没有出这么低级错误。

                            贴一下000
                            ╭─ ⚕ Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
                            等等,第17行 \\ 变成四个反斜杠了!VBS 里字符串里的 \ 才代表一个 \。现在写成了 \\,路径会变成 C:\Users\...(双反斜杠),Windows 可能找不到。让我修正:

                            ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
                            ┊ 🔧 preparing patch…
                            ┊ 🔧 patch C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs 0.7s
                            ┊ review diff
                            a/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs → b/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs
                            @@ -14,4 +14,4 @@
                            env.Item("PYTHONPATH") = "C:\Users\46049\AppData\Local\hermes\hermes-agent;C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Lib\site-packages"
                            End If
                            sh.CurrentDirectory = "C:\Users\46049\AppData\Local\hermes"
                            -sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
                            +sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
                            ┊ 📖 preparing read_file…
                            ┊ 📖 read Hermes_Gateway.vbs 0.4s

                            ╭─ ⚕ Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
                            好,第17行现在是正确的 VBS 语法:sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False

                            现在测试一下完整的启动链:
                            
                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 没有帐号? 注册

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组