AMD AI Max 395 128GB这玩意能不能买……

[gg lib]

就想搞个小主机，方便我带着跑的，Hermes+本地大语言模型 comfyui ，有没有买过的大神……

[kop wang]

简单粗暴来讲：性能不行。达不到生产力可用的性能标准。

[imbiplaza ASUS]

建议等等rtx spark再来做决定

[abaalei]

只跑LLM的话，苹果可以，但是comfyui的话，目前市面上还比较难选？
不担心电表倒转的可以跟我这样玩

双路E5 2682 v4+ 96G DDR4 2133 Reg Ecc+ 3080ti + 7900XTX *2
满载功耗（含软路由、nas、交换机、APC SUA3000R2ICH UPS）=1600W！

目前花费

[gg lib]

苹果太贵了……真不想折腾了，我现在3060太差了……

[Tony Wang]

AMD AI Max 395 128GB 显存带宽只有256, 跑LLM的话跑不过 M5 pro.

35A3 或者 26A4 的 MOE, 长上下文,估计能跑个 40+ 的decode, 可用

27B 或者 31B 的稠密+MTP, 估计也就在10左右, 基本不可用.

[williamlouis]

你还没买。可以重新构思下你的算力计划了。
塔式机箱放家或单位。远程使用也是没有任何障碍的。你可以考虑下。聊天软件控制。或虚拟网络直连都可以解决你要到处跑的问题。

[陶宝时光机]

是啊，今天也有人问我这个问题，他说才1w多

[stxpnet]

如果没用，苹果 NVIDIA AMD生产这类产品的动机是什么呢？ 割韭菜 + 清低端RAM库存 + 粉丝智商鉴别？ 如果说有用，我感觉就是跑MOE智商中等的模型+对话的时候有些搞头，因为对话的时候其实对生成速度不是那么敏感。 对话式 场景，感觉就是慢慢批露出各方面的需求，由AI来智能判断要加载和卸载哪些专家。在这类设备上，比CPU +内存 + 显卡的架构更有优势，（它是统一内存，不需要在内存和显卡之间交换数据）

[kop wang]

@stxpnet "动机是什么呢？"我理解是引流+市场占领。

通过一个相对“低成本”、“高容量”的设备，培育消费者自部署的使用习惯，然后再推自己的硬件、软件生态。

做终端自部署专用设备可以说是最近的新共识，连理想等车企都有布局。mac最新的M5平台也是特意加强了prefill性能。

至于说各家的产品特性和定价，其实就是基于各家自己的生态位和优势来讲的。

NV有CUDA，能做预训练和微调，所以GB10更贵，系统也更孤傲。
AMD明显选了有退路的路线，最不济你可以把它当一个windows power小主机。
mac更是雪藏了M5这代的mac studio系列死活不更新。

[stxpnet]

@陶宝时光机 1万9？ 有时候本地很卡的时候，我都想弄一个，看看价格还是算了。 2万元，再加点 买狗东的4090 48G不香吗？

[kos or]

@williamlouis 说:

塔式机箱放家或单位。远程使用也是没有任何障碍的。你可以考虑下。聊天软件控制。或虚拟网络直连都可以解决你要到处跑的问题。

這樣做真的是太方便了 用Macbook Air 連上 AI主機,
到哪都方便

[mark]

如果买 AMD 小主机, 建议等等. 可能还有新款. 目前选择很少的.

要买 还是 老黄显卡 保值. 否则 AMD小主机 买完 , 估计 两年 就一点钱不值了.

[sarcoma]

@gg-lib 我在用Ryzen 395啊。395跑qwen3.6 35b a3b模型给hermes 当基础主模型用，开一些cron定时任务，可以干。主要待机省电。

我有很多文字处理和RAG的任务要做，专业微调模型、翻译模型、嵌入模型、视觉识别模型都跑在395上，128GB统一内存开GTT的话，VRAM可以用到～122GB。很多模型可以一直加载着，随时可以用。我觉得395适合需要单人的多开模型的场合，当然算力还是有限、没法并行。

当然395的确不快，尤其是prefill实在是让人着急。hermes-agent正常任务或者长上下文的话我会用另外的7900 XTX跑qwen 27b。