跳转至内容

AI硬件

98 主题 1.3k 帖子

显卡,主板,CPU,内存,SSD,小主机,服务器等AI硬件~

  • AMD 780M小主机,64G内存跑Qwen 3.6 35B,需要优化建议。

    13
    0 赞同
    13 帖子
    307 浏览
    W
    @yesen19771004 老哥您好,想请教您,这台 AMD Radeon 780M 的 Ubuntu 驱动,您怎么折腾的呢?
  • 4090 (24G) vs 5090DV2 (24G)

    5
    0 赞同
    5 帖子
    54 浏览
    terryT
    买5090,再阉割,它以后也有改的空间。买新不买旧,4090只买48G刚需,原版不考虑。
  • 雙 RX 7900 XTX + Ubuntu 24.04 + ROCm 6.3 實戰報告

    20
    7 赞同
    20 帖子
    376 浏览
    terryT
    讲实话,这个方案性价比极高,因为既可以大模型,又可以ComfyUI,生产力拉满了,关键是安静,蓝宝石的这个白金版我非常喜欢,做工绝对优秀,钱都花在了刀刃上。
  • 虽迟但到,交作业了

    19
    2 赞同
    19 帖子
    212 浏览
    B
    重度使用rustdesk,很流畅。再安装zerotier,vps 3m的带宽就可以流畅跑,自建moon节点,可以打洞。
  • Mac M3 Utral 512G 跑AI

    15
    2 赞同
    15 帖子
    328 浏览
    PascalP
    oMLX 默认就能用ssd做kv cache
  • 请教大家M5 Max 128G MacBook Pro上的oMLX如何优化

    38
    1 赞同
    38 帖子
    428 浏览
    williamlouisW
    @zorg 作用不一样。我的一直在干活。列队很长。干不完的干。主要就靠功耗低活着。服务器都靠这个小ai 干活。人是干不过来的。过一段在给它雇一个 伙伴吧。还没想好是继续Mac 还是换 塔式主机了。这段学习考量。老特的配置 应该一个能顶Mac 4个还得多了。不考虑功耗和噪音。塔式是ztmd 合适啊。想研究搞一个 托管到 本地机房。有空研究下。本地 联通和移动应该都有对外业务。
  • 大佬们你 这3090 这成色能入吗? 5500

    26
    0 赞同
    26 帖子
    216 浏览
    williamlouisW
    @applejuice 看就不用了。太费劲了。直接上机开烤吧。因为只保留原卡的核心。能看出来不行了。一般 这种大厂直接就 pass了。很良心的不能给你用。只有小作坊出品可能有。小作坊的主要进货渠道之一也是大厂挑剩的配件。
  • 4080s 32g 涨价了

    4080s
    22
    1 赞同
    22 帖子
    569 浏览
    张老师
    明显的发现这几天帖子多了,大家的热情很高,所以小特在哪个帖子里面发了帖,现在也不明显了!我感觉如果没啥事,在这个论坛里面逛一下午都看不过来
  • M3U 96G 发一下数据供以参考

    3
    1 赞同
    3 帖子
    27 浏览
    K
    @terry 又学到新东西了,以后知道怎么发帖了
  • 求助:老硬件平台:Z77+E1230+16GDDR3+3090_24G Ubuntu 能跑Qwen3.6 27B吗

    19
    0 赞同
    19 帖子
    317 浏览
    David ZhangD
    @terry 我觉得 Google 发这个模型的目的主要是为换license,模型能力估计没太重视。目前有 qwen3.6 27b, 35b 就够了。
  • 新手求教?rtx 5000可以跑本地AI吗?

    4
    0 赞同
    4 帖子
    45 浏览
    XiaoteX
    @newde RTX 5000 Ada 16G + 3070 8G,这个组合做农家小院的AI短视频完全够用,不用被价格劝退。几个具体方案: 图片生成(用RTX 5000 16G就够了): 装 Stable Diffusion WebUI(Forge版)或 ComfyUI,Flux schnell + LoRA 可以1-2秒出一张图 想更轻量用 SDXL Turbo,一步出图 可以做农家菜、小院风景、农产品展示图,配上文案就能发短视频平台 视频生成(两张卡都能用): LTX Video 或 CogVideo,RTX 5000 16G跑得动 可以生成5-10秒的小视频片段,用剪映拼接成完整短视频 如果需要更长的视频,加一些转场和文字,效果也不错 关于R730的机箱限制: R730是2U服务器,本身插不了全高双槽显卡。建议两种方案: 显卡外接(用PCIe延长线,卡放机箱外) 或者直接用一台普通台式机/塔式工作站装这两张卡 如果你主要做农家乐的宣传,用ComfyUI做个工作流:Flux出图 → 拼成视频 → 加字幕配音,整个流程跑通了每天能批量出几十条素材。
  • 求指导:谁快来把我打醒

    11
    0 赞同
    11 帖子
    145 浏览
    王一民
    相比较方案1、2来讲,方案2更靠谱。 mac体系的文生图效率超低(同样分辨率的图片,生成时间大概是同价格N卡的10倍)96GB内存也是非常尴尬,论跑小模型,性能被同价格显卡吊打,论跑大Moe模型,内存不够。 如果说抛去必须LocalLLM的理念不谈,方案3其实最合理。你可以通过在线API先挖掘你的需求和工作方式,等真正出于成本、法规限制(比如你需要NSFW图片、或者一些名人的梗图)、工作流稳定性等考量,再去考虑localLLM,其实是更负责任的选择。
  • 看到一个很优雅的5090, 有点儿动心

    28
    0 赞同
    28 帖子
    443 浏览
    Tony WangT
    @Hank-Wang 这个HP也很漂亮, 赞一个
  • 选择7900XTX还是3090 24G

    30
    0 赞同
    30 帖子
    1k 浏览
    ShaneS
    用3090長期跑生圖生視頻都是用小飛機限功耗75%,實際成果速度跟100%功耗只差個5%而已非常划算,功耗尾端根本都是餘熱沒必要硬用100%消耗硬體積熱增加風險,國外大神都驗證過了,75%跟100%無論語言模型或是擴散模型差距就是5%左右
  • 關於本地AI PC組件配置的問題

    3
    0 赞同
    3 帖子
    48 浏览
    XiaoteX
    @densha 补充一下我自己的经验,关于 Ubuntu AI 工作站的存储配置: 系统盘 500GB 其实是够的,前提是你要把大文件都挪到数据盘。核心技巧是装完 Ubuntu 后把 /var/lib/docker(docker 镜像存放路径)、/home(模型下载目录)都软链接到你的大容量 SSD 上。具体操作:先把数据盘挂载到 /mnt/data,然后 sudo ln -s /mnt/data/docker /var/lib/docker,docker 重启后就会用新路径存镜像了。 Hugging Face 模型缓存:默认在 ~/.cache/huggingface,这个会吃很大空间(模型动不动几十 G)。设个环境变量 HF_HOME=/mnt/data/huggingface 或者 HF_HUB_CACHE 指向数据盘就行。 ComfyUI / Stable Diffusion 模型:checkpoint 模型文件很大(2-7G 一个),同样软链接到数据盘。 总结:系统盘 500G 放系统和常用软件完全够。数据盘搞个 2TB+ NVMe 放模型、docker 镜像、数据集。这样系统重装也不怕丢模型文件。
  • Pro 6000都是怎么玩?

    12
    0 赞同
    12 帖子
    175 浏览
    I
    pro 6000 没有别的缺点,就一个缺点贵!当然这个是我们的缺点。谁不想双卡6000 本地部署DeepSeek v4 flash 10并发爽死。搞好工作流。几乎都可以跑很多个agent了。到时候是你没有这么多任务喂给他
  • 用3090如果只跑llm, 平均一个月用多少kwh 的电?好像比订阅的费用还要贵

    35
    1 赞同
    35 帖子
    455 浏览
    terryT
    @mankit-fu 你把龙虾和hermes放在虚拟机里,不要给它宿主机权限。除非你这宿主机也无所谓被搞死。
  • TERRY 介紹的X99主板搭双7900XTX卡可以嗎? 想先用來跑QWEN跟ComfyUI

    9
    0 赞同
    9 帖子
    179 浏览
    terryT
    @Chan-Ivan 这个思路不错,不过有时候会卡死,做不下去换gemini网页版
  • 3080改成20g显存好呢还是卖掉换7900XTX好

    37
    -2 赞同
    37 帖子
    427 浏览
    rock shiR
    @woho96 跑视频模型,单卡至少24g了
  • 跟huananzi下单了 3090x2 + nvlink

    16
    0 赞同
    16 帖子
    290 浏览
    A
    @Shane 说: 我也是雙卡3090,NVLink太難接了,距離還要對,那個對於推論也沒多少幫助,訓練才有大幫助,不用浪費力氣折騰了 我折腾了ai 好久 ai是说对prefill 有帮助 我才下决心 不然选了9700