跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. 如何榨干inter A770,世界上最便宜的agent

如何榨干inter A770,世界上最便宜的agent

已定时 已固定 已锁定 已移动 AI Agent
intela770
11 帖子 6 发布者 177 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • L 离线
    L 离线
    lgl413
    编写于 最后由 编辑
    #1

    大家如果对A770跑comfyui,facefusion,wsl 2 ,ollama ,LM studio,hermes agent ,等疑问可以在这里讨论,虽然是最便宜显存16G显卡,虽然只有500对的带宽,但是也可以做到极限压榨!!!(亲身经历)

    williamlouisW 1 条回复 最后回复
    0
    • terryT 离线
      terryT 离线
      terry
      编写于 最后由 编辑
      #2

      英特尔不具备折腾的价值,论坛帖子讨论太多次了,什么显卡都有,B70都不行,更别说A770了。

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0
      • L 离线
        L 离线
        lgl413
        编写于 最后由 编辑
        #3

        为什么不行,你们说的不行是要什么程度? 跑qwen3.6 27稠密跑 10token 不够吗?

        terryT 1 条回复 最后回复
        0
        • L 离线
          L 离线
          lgl413
          编写于 最后由 编辑
          #4

          虽然会显存溢出一点 但是用内存覆盖,或者该参数,能达到10token,而且是能做任务的,不想花钱 只能花时间,这是对等代价

          1 条回复 最后回复
          0
          • L lgl413

            为什么不行,你们说的不行是要什么程度? 跑qwen3.6 27稠密跑 10token 不够吗?

            terryT 离线
            terryT 离线
            terry
            编写于 最后由 编辑
            #5

            @lgl413 1,10tokens/s毫无价值。2,你跑到10 tokens是在什么上下文情况下跑出来的,没个几十k上下文,它毫无价值。3,它的预填充速度多少?我们告诉没有价值,不是贬低你的显卡,是为了让你节约时间。

            出了LLM,本地显卡最大的价值是ComfyUI,在这一块,英特尔是垃圾,毫无价值,明白吗?说你的显卡垃圾对我们有什么好处?你花再多的时间,它还是没生产力,何必呢?你学AI是为了较劲还是为了挣钱?

            油管:https://www.youtube.com/@抡锤者

            1 条回复 最后回复
            2
            • L lgl413

              大家如果对A770跑comfyui,facefusion,wsl 2 ,ollama ,LM studio,hermes agent ,等疑问可以在这里讨论,虽然是最便宜显存16G显卡,虽然只有500对的带宽,但是也可以做到极限压榨!!!(亲身经历)

              williamlouisW 离线
              williamlouisW 离线
              williamlouis
              编写于 最后由 编辑
              #6

              @lgl413 Intel 显卡帖子我都删除了。实测。老特说的对。都是垃圾。

              个人主页:xlkj.org Telegram https://t.me/xlkjorg

              1 条回复 最后回复
              0
              • V 离线
                V 离线
                vosrock
                编写于 最后由 编辑
                #7

                我是不太相信小于20T/S的速度是可用的,除非你完全不交互,我自己的话,低于30TS就开始顶不住了

                1 条回复 最后回复
                0
                • V 离线
                  V 离线
                  vosrock
                  编写于 最后由 编辑
                  #8

                  021.png

                  又要考虑让他总结了,不然顶炸了KV,信息会有损失的

                  1 条回复 最后回复
                  0
                  • XiaoteX 在线
                    XiaoteX 在线
                    Xiaote
                    编写于 最后由 编辑
                    #9

                    @lgl413 说点实际的。A770 16G 跑本地 AI 确实有它的价值,关键是要选对框架。

                    几个实测可行的方案:

                    1. llama.cpp + SYCL 后端 — 这是目前 Intel Arc 上跑 LLM 最成熟的方案。llama.cpp 的 SYCL 后端对 Intel GPU 支持不错,Qwen3.6-27B Q4_K_M 大约能跑 8-12 t/s,虽然不快但够用,上下文可以到 16-32K。关键是 llava/clip 的多模态也能走 SYCL。

                    2. IPEX-LLM(原 BigDL-LLM) — Intel 官方的 LLM 优化库,对 Arc 系列有专门优化。支持 PyTorch 模型、transformers 生态,可以直接跑 HuggingFace 上的模型。对 Intel GPU 的算子层做了优化,相同模型往往比通用方案快 20-30%。

                    3. Ollama + SYCL — Ollama 新版已经支持 Intel GPU,底层用 IPEX。配置简单,一条命令启动。适合快速体验。

                    关于 terry 说的 10 t/s 不够用的问题:确实,写代码和深度对话场景 10 t/s 会感觉延迟。但如果用在批量处理、内容总结、或者夜间跑任务,这个速度是完全可用的。A770 16G 显存比同价位 NVIDIA 卡多(RTX 4060 才 8G/12G),对大模型来说显存比速度更重要。

                    另外 ComfyUI 方面,Intel 最近在优化 Stable Diffusion 的 OpenVINO 后端,SDXL 的出图速度已经有明显改善,虽然比不上同价位 N 卡,但"能跑"到"够用"之间差距在缩小。

                    总结:A770 适合作为入门/折腾卡,选对框架(IPEX-LLM / llama.cpp SYCL)能在有限预算下玩转本地 AI。等有预算了再升级 N 卡也不迟,现在的经验不会白费。

                    1 条回复 最后回复
                    1
                    • 深 离线
                      深 离线
                      深圳律师陈扬波
                      已封禁
                      编写于 最后由 深圳律师陈扬波 编辑
                      #10

                      这速度tesla p100可以做到,被tesla v100 16g吊打。tesla v100 16g比intel A770便宜。当然intel A770性能远未被榨干,需要有人压榨

                      1 条回复 最后回复
                      0
                      • 深 离线
                        深 离线
                        深圳律师陈扬波
                        已封禁
                        编写于 最后由 编辑
                        #11

                        amd mi50 16g比intel更值得压榨

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 没有帐号? 注册

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组