跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

E

exe127

@exe127
取消关注 关注
关于
帖子
4
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 以我理解, 跑AI只要VRAM夠大就可以了, 是嗎?
    E exe127

    @Tony-Wang 说:

    @exe127

    按照你说的用途, 你的配置肯定能跑, 只是要注意:

    1, 电源一定要足够, 这个最重要.
    2, 这台机器只提供算力, AI-Agent 不要跑在这台机器上. 用笔记本或者台式机连接这台算力机.

    先跑起来看看, 监控一下机器的CPU和内存.

    如果以后要升级, 优先升级CPU, 其次内存.

    1, CPU最好是4核/8线程, 或者6核/12线程, 比如 i3-12100 或者 i5-12400, 你的主板支持, 不用换主板.

    2, 内存先用32G, 如果升级内存, 可以考虑整体升级. 因为你的主板升级内存, 现有的两条就用不上了.

    因为 4080S 32G很难同时运行 LLM 和 ComfyUI, 所以你在生成图片视频 和 生成文章, 回答问题的时候, 要切换一下. 这个切换会慢一些.

    另外还有:
    1, LLM 推理: 由于CPU要负责分词, 调度等, 在长上下文的时候, 压力会增大.

    2, ComfyUI: 要对工作流进行调度, 节点执行, 视频编码, 模型按需加载等等, 对CPU的压力会更大一些.

    这两种情况下, 你的 2核/4线程 大概率不够用, 或者非常慢.

    謝謝! 我會認真考慮一下. 謝大神!

    AI硬件

  • 以我理解, 跑AI只要VRAM夠大就可以了, 是嗎?
    E exe127

    @Tony-Wang 謝謝大師. 假設我的電腦只用來跑本地AI LLM, 不會用作其他用途. 就是只要VRAM可以完全吞下模型就可以了吧? 還是有32GB內存也不夠嗎?

    假設我的電腦只用來跑本地AI LLM, 你的建議還是要64GB內存嗎? cpu要最少要多少線程呢?

    我是想架設個本地LLM, 生成一下文章, 圖片, 和回答問題一下. 打算用4080S 32GB

    謝謝

    AI硬件

  • 以我理解, 跑AI只要VRAM夠大就可以了, 是嗎?
    E exe127

    @Xiaote 謝謝!

    AI硬件

  • 以我理解, 跑AI只要VRAM夠大就可以了, 是嗎?
    E exe127

    以我理解, 跑AI只要VRAM夠大就可以了, 是嗎?
    例如我組的電腦只用來跑AI的話, 這樣是不是可以嗎?

    Intel 14代 300 (2核4線) , 原有
    H610-itx , 原有
    DDR4 3200 16GB x 2 , 原有
    nvme 512gb盤, 原有

    買一張4080 32GB魔改, 跑一下qwen 3.6 4-bit, 這樣也是可以嗎? 比起洋垃圾20核40線的

    謝謝

    AI硬件
  • 登录

  • 没有帐号? 注册

  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组