跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 从 41 到 56 tok/s:我修好了 DFlash 官方 benchmark 的 bug,顺手在 7900 XTX 上搭了全套联网大模型

从 41 到 56 tok/s:我修好了 DFlash 官方 benchmark 的 bug,顺手在 7900 XTX 上搭了全套联网大模型

已定时 已固定 已锁定 已移动 LLM讨论区
本地模型7900xtxdflash
11 帖子 4 发布者 456 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT 离线
    terryT 离线
    terry
    超级版主
    发表于 最后由 编辑
    #2

    没测试,以前出来会很有用,现在没有理由不接入Hermes,纯聊天很尴尬。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    0
    • williamlouisW 离线
      williamlouisW 离线
      williamlouis
      超级版主
      发表于 最后由 编辑
      #3

      7900XTX 质量上下文 并能联网搜索 接入不了 Hermes。上下文长度不够。

      个人主页:xlkj.org Telegram https://t.me/xlkjorg

      terryT fcmeF 2 条回复 最后回复
      0
      • williamlouisW williamlouis

        7900XTX 质量上下文 并能联网搜索 接入不了 Hermes。上下文长度不够。

        terryT 离线
        terryT 离线
        terry
        超级版主
        发表于 最后由 编辑
        #4

        @williamlouis 你还别说,我的xtx,很久以来只是用来生成音频,其他的功能都丧失了,可以部署,抄下作业。

        油管:https://www.youtube.com/@抡锤者

        1 条回复 最后回复
        0
        • williamlouisW 离线
          williamlouisW 离线
          williamlouis
          超级版主
          发表于 最后由 编辑
          #5

          可以联网是开展工作流的基础。这样7900XTX就有了实战能力了。

          个人主页:xlkj.org Telegram https://t.me/xlkjorg

          1 条回复 最后回复
          0
          • williamlouisW 离线
            williamlouisW 离线
            williamlouis
            超级版主
            发表于 最后由 编辑
            #6

            联网+Qwen3.6-27B+ ltxv-13b-0.9.8-distilled-fp8(14.6G) 可以实现一个 自动产出的工作流了。
            实测 老同学 2B的小模型和没有没什么区别。这个 2B是用来搞笑的生产力!

            个人主页:xlkj.org Telegram https://t.me/xlkjorg

            1 条回复 最后回复
            0
            • fcmeF 离线
              fcmeF 离线
              fcme
              技术大牛 劳动模范
              发表于 最后由 编辑
              #7

              ddg的搜索质量还是有点堪忧啊,感觉用searngx做聚合,把你实测质量比较好的搜索源的权重提高点效果比较好。外挂搜索引擎确实是弥补本地小模型知识库这个最大短版的印度神油😂

              1 条回复 最后回复
              1
              • williamlouisW williamlouis

                7900XTX 质量上下文 并能联网搜索 接入不了 Hermes。上下文长度不够。

                fcmeF 离线
                fcmeF 离线
                fcme
                技术大牛 劳动模范
                发表于 最后由 编辑
                #8

                @williamlouis
                配合OpenWebUI看来不是搞代码的需求,这种情况下可以考虑27B的iQ3系列,日用和正常的Q4没什么区别。以前用5070ti的时候用这个效果很棒,又快又稳,简单的脚本之类的也没有问题。
                下面这个实测不错,但是不要用xs和s版本那两个会崩,因为这些作者他们量化完了以后不会自己运行实际跑,所以要跑几个不同的版本精挑细选一下。
                https://huggingface.co/mradermacher/Huihui-Qwen3.6-27B-abliterated-i1-GGUF?show_file_info=Huihui-Qwen3.6-27B-abliterated.i1-IQ3_XXS.gguf

                1 条回复 最后回复
                1
                • williamlouisW 离线
                  williamlouisW 离线
                  williamlouis
                  超级版主
                  发表于 最后由 编辑
                  #9

                  我一直 用的 adspower.
                  补充下进展 联网+Qwen3.6-27B+cpu 纯编码 .sh .py .js 最终实现了视频工作流生产。
                  结论:在课件类视频中 实现指定逻辑是第一位的。 wan ltx 自身运行中的想象力不可控因素过多。不能实现无人程序化产出。

                  个人主页:xlkj.org Telegram https://t.me/xlkjorg

                  1 条回复 最后回复
                  0
                  • stxpnetS 离线
                    stxpnetS 离线
                    stxpnet
                    超凡大师
                    发表于 最后由 编辑
                    #10

                    只看T/S,感觉还不如官方MTP,菜鸟之言。大神莫见笑。

                    26-08-19
                    双卡3090(8x8x无nvlink,p2p驱动) +Sglang+qwen 3.8 27B awq模型 [功耗异常弃用]
                    8-20 用vllm 0.26+ Qwen3.8-27B-SmoothQuant-W8A8-INT8 200K上下文 ~50t/s

                    1 条回复 最后回复
                    0
                    • williamlouisW 离线
                      williamlouisW 离线
                      williamlouis
                      超级版主
                      发表于 最后由 编辑
                      #11

                      任何模型能工作才是最重要的。网络中的各种测试都是一个参考。只能作为你没安装前的考量参数。
                      输出速度再快。不能24小时无人值守运行程序也是一个展示型玩物。
                      这篇帖子的精华是给大家一个低门槛能链接互联网的 Qwen 27B。没有这个基础模块各种项目无法开展。
                      没上更复杂的链接方式是讲清楚让所有人都能安装太墨迹了。这套操作的适用行最强。安装最简单。

                      个人主页:xlkj.org Telegram https://t.me/xlkjorg

                      1 条回复 最后回复
                      1
                      • 系统 于 取消固定此主题

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组