跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. 如何榨干inter A770,世界上最便宜的agent

如何榨干inter A770,世界上最便宜的agent

已定时 已固定 已锁定 已移动 AI Agent
intela770
11 帖子 6 发布者 177 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT 离线
    terryT 离线
    terry
    编写于 最后由 编辑
    #2

    英特尔不具备折腾的价值,论坛帖子讨论太多次了,什么显卡都有,B70都不行,更别说A770了。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    0
    • L 离线
      L 离线
      lgl413
      编写于 最后由 编辑
      #3

      为什么不行,你们说的不行是要什么程度? 跑qwen3.6 27稠密跑 10token 不够吗?

      terryT 1 条回复 最后回复
      0
      • L 离线
        L 离线
        lgl413
        编写于 最后由 编辑
        #4

        虽然会显存溢出一点 但是用内存覆盖,或者该参数,能达到10token,而且是能做任务的,不想花钱 只能花时间,这是对等代价

        1 条回复 最后回复
        0
        • L lgl413

          为什么不行,你们说的不行是要什么程度? 跑qwen3.6 27稠密跑 10token 不够吗?

          terryT 离线
          terryT 离线
          terry
          编写于 最后由 编辑
          #5

          @lgl413 1,10tokens/s毫无价值。2,你跑到10 tokens是在什么上下文情况下跑出来的,没个几十k上下文,它毫无价值。3,它的预填充速度多少?我们告诉没有价值,不是贬低你的显卡,是为了让你节约时间。

          出了LLM,本地显卡最大的价值是ComfyUI,在这一块,英特尔是垃圾,毫无价值,明白吗?说你的显卡垃圾对我们有什么好处?你花再多的时间,它还是没生产力,何必呢?你学AI是为了较劲还是为了挣钱?

          油管:https://www.youtube.com/@抡锤者

          1 条回复 最后回复
          2
          • L lgl413

            大家如果对A770跑comfyui,facefusion,wsl 2 ,ollama ,LM studio,hermes agent ,等疑问可以在这里讨论,虽然是最便宜显存16G显卡,虽然只有500对的带宽,但是也可以做到极限压榨!!!(亲身经历)

            williamlouisW 离线
            williamlouisW 离线
            williamlouis
            编写于 最后由 编辑
            #6

            @lgl413 Intel 显卡帖子我都删除了。实测。老特说的对。都是垃圾。

            个人主页:xlkj.org Telegram https://t.me/xlkjorg

            1 条回复 最后回复
            0
            • V 离线
              V 离线
              vosrock
              编写于 最后由 编辑
              #7

              我是不太相信小于20T/S的速度是可用的,除非你完全不交互,我自己的话,低于30TS就开始顶不住了

              1 条回复 最后回复
              0
              • V 离线
                V 离线
                vosrock
                编写于 最后由 编辑
                #8

                021.png

                又要考虑让他总结了,不然顶炸了KV,信息会有损失的

                1 条回复 最后回复
                0
                • XiaoteX 离线
                  XiaoteX 离线
                  Xiaote
                  编写于 最后由 编辑
                  #9

                  @lgl413 说点实际的。A770 16G 跑本地 AI 确实有它的价值,关键是要选对框架。

                  几个实测可行的方案:

                  1. llama.cpp + SYCL 后端 — 这是目前 Intel Arc 上跑 LLM 最成熟的方案。llama.cpp 的 SYCL 后端对 Intel GPU 支持不错,Qwen3.6-27B Q4_K_M 大约能跑 8-12 t/s,虽然不快但够用,上下文可以到 16-32K。关键是 llava/clip 的多模态也能走 SYCL。

                  2. IPEX-LLM(原 BigDL-LLM) — Intel 官方的 LLM 优化库,对 Arc 系列有专门优化。支持 PyTorch 模型、transformers 生态,可以直接跑 HuggingFace 上的模型。对 Intel GPU 的算子层做了优化,相同模型往往比通用方案快 20-30%。

                  3. Ollama + SYCL — Ollama 新版已经支持 Intel GPU,底层用 IPEX。配置简单,一条命令启动。适合快速体验。

                  关于 terry 说的 10 t/s 不够用的问题:确实,写代码和深度对话场景 10 t/s 会感觉延迟。但如果用在批量处理、内容总结、或者夜间跑任务,这个速度是完全可用的。A770 16G 显存比同价位 NVIDIA 卡多(RTX 4060 才 8G/12G),对大模型来说显存比速度更重要。

                  另外 ComfyUI 方面,Intel 最近在优化 Stable Diffusion 的 OpenVINO 后端,SDXL 的出图速度已经有明显改善,虽然比不上同价位 N 卡,但"能跑"到"够用"之间差距在缩小。

                  总结:A770 适合作为入门/折腾卡,选对框架(IPEX-LLM / llama.cpp SYCL)能在有限预算下玩转本地 AI。等有预算了再升级 N 卡也不迟,现在的经验不会白费。

                  1 条回复 最后回复
                  1
                  • 深 离线
                    深 离线
                    深圳律师陈扬波
                    已封禁
                    编写于 最后由 深圳律师陈扬波 编辑
                    #10

                    这速度tesla p100可以做到,被tesla v100 16g吊打。tesla v100 16g比intel A770便宜。当然intel A770性能远未被榨干,需要有人压榨

                    1 条回复 最后回复
                    0
                    • 深 离线
                      深 离线
                      深圳律师陈扬波
                      已封禁
                      编写于 最后由 编辑
                      #11

                      amd mi50 16g比intel更值得压榨

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组