跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI音视频画图
  4. 双 R9700 部署 — GPU1 跑 SGLang 256K 大模型,GPU0 跑 ComfyUI MiniMax H3 视频,工具已经免费,专注内容

双 R9700 部署 — GPU1 跑 SGLang 256K 大模型,GPU0 跑 ComfyUI MiniMax H3 视频,工具已经免费,专注内容

已定时 已固定 已锁定 已移动 AI音视频画图
r9700sg-langcomfyui
13 帖子 7 发布者 938 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • tmp tmpT 离线
    tmp tmpT 离线
    tmp tmp
    编写于 最后由 编辑
    #4

    prefile和decode速度好像并不怎么快,为什么要用sglang呀?

    B 1 条回复 最后回复
    1
    • XiaoteX 离线
      XiaoteX 离线
      Xiaote
      编写于 最后由 编辑
      #5

      @tmp-tmp 选 SGLang 不是图单流快,是楼主这个场景只有它能同时满足三件事:

      1. 256K 长上下文不掉速——楼主原话"长上下文 decode 不衰减"。llama.cpp 到长窗尾段容易溢出/重 prefill,SGLang 的 KV 管理和 prefix cache 就是干这个的。
      2. 不跟 ComfyUI 抢内存——楼主 64G 内存刚够 ComfyUI offload(H3 fp8 权重 50G+ 塞不进单卡 32G),llama.cpp 长上下文权重+KV 一溢出就去吃系统内存拖垮 ComfyUI,他自己写了"llamacpp 需要用到内存,影响 comfyui,所以不能用了"。
      3. 常驻服务适合无人值守——SGLang + systemd 挂机,配脚本/agent 反复调;llama.cpp 单进程长任务挂了就断。

      速度账:27B 单卡 decode 被显存带宽钉死,同硬件同量化下 SGLang 和 llama.cpp 差距是个位数百分比,短上下文单流甚至 llama.cpp 常常更快。SGLang 的钱花在长上下文、并发多路、显存管理上,不是花在把 27B 跑快 5%。

      反过来说也对:短上下文单用户自用,llama.cpp 完全够,没必要多学一层 SGLang;要 256K 长窗 + 后台常驻 + 旁边还跑着吃显存的东西,才轮到它上场。

      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

      1 条回复 最后回复
      0
      • XXXX 离线
        XXXX 离线
        XXX
        编写于 最后由 编辑
        #6

        掙扎了一周想說買第二張, 結果能找到的價格已經跟上上周買的價格漲了18%...

        imbiplaza ASUSI kos orK 2 条回复 最后回复
        0
        • XXXX XXX

          掙扎了一周想說買第二張, 結果能找到的價格已經跟上上周買的價格漲了18%...

          imbiplaza ASUSI 离线
          imbiplaza ASUSI 离线
          imbiplaza ASUS
          至尊王者
          编写于 最后由 编辑
          #7

          @XXX
          你还没买?我以为你直接买了。。。

          https://lcz.me/project/dcs

          XXXX 1 条回复 最后回复
          0
          • XXXX XXX

            掙扎了一周想說買第二張, 結果能找到的價格已經跟上上周買的價格漲了18%...

            kos orK 离线
            kos orK 离线
            kos or
            超凡大师
            编写于 最后由 编辑
            #8

            @XXX said:

            掙扎了一周想說買第二張, 結果能找到的價格已經跟上上周買的價格漲了18%...

            請問最後是掙扎地買了嗎?還是繼續掙扎中

            1 条回复 最后回复
            0
            • XXXX 离线
              XXXX 离线
              XXX
              编写于 最后由 编辑
              #9

              只買了一張,後面也不用掙扎了,沒貨了。

              1 条回复 最后回复
              0
              • imbiplaza ASUSI imbiplaza ASUS

                @XXX
                你还没买?我以为你直接买了。。。

                XXXX 离线
                XXXX 离线
                XXX
                编写于 最后由 编辑
                #10

                @imbiplaza-ASUS
                因為第一張買53000, 隔一周想買第二張時已經變63000,所以掙扎, 再一天就都沒了。

                1 条回复 最后回复
                1
                • Qq QwQ 离线
                  Qq QwQ 离线
                  Qq Qw
                  编写于 最后由 编辑
                  #11

                  請問一下,amd R9700 minimax H3 解析度864×480與960x544製作15sec視頻分別要多少時間呢?

                  B 1 条回复 最后回复
                  0
                  • tmp tmpT tmp tmp

                    prefile和decode速度好像并不怎么快,为什么要用sglang呀?

                    B 离线
                    B 离线
                    Brian
                    德高望重
                    编写于 最后由 编辑
                    #12

                    @tmp-tmp 说:

                    prefile和decode速度好像并不怎么快,为什么要用sglang呀?

                    sglang确实很慢,用上了vllm,Dflash,体验起飞

                    1 条回复 最后回复
                    0
                    • Qq QwQ Qq Qw

                      請問一下,amd R9700 minimax H3 解析度864×480與960x544製作15sec視頻分別要多少時間呢?

                      B 离线
                      B 离线
                      Brian
                      德高望重
                      编写于 最后由 编辑
                      #13

                      @Qq-Qw 说:

                      請問一下,amd R9700 minimax H3 解析度864×480與960x544製作15sec視頻分別要多少時間呢?

                      15s视频之前试过要40min,最近用了加速(PDD 加速 LoRA minimax_h3_fl2va_pdd_acc_8step 1.66GB),0.4画质可以12分钟,5s的快很多。
                      整理好了,数据来自 ComfyUI 服务日志(9/13–9/14 的实际运行记录)+ 出片文件:

                      MiniMax H3 生视频速度(本地 ComfyUI + PDD 蒸馏)

                      单段耗时(nfe=8 默认档,480×864)

                      任务 实测耗时 折算每秒视频
                      5s 短片 3.0 ~ 4.4 分钟 ~36–53 秒 / 秒
                      5s(nfe=4 加速档) 2.1 ~ 4.2 分钟 ⚠️ 有重影,不推荐
                      15s 单段硬生 9.6 ~ 11.2 分钟 ~39–45 秒 / 秒

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组