抡锤者

gemma4 26b a4b我觉得还行，哈哈哈，不接agent，直接当个推理模型、IT知识库用

@jenaflex 不同意楼主说的395的观点，每个人的需要不太一样吧，我有7900XTX、我有RTX 5060，我也用AI Max 395 128GB，用的挺好，挺合适。可能每个人的需求不同吧。

sarcoma 说:

我一直在用searxng，觉得很方便，配合firecrawl

全本地

我一直在用searxng，觉得很方便，配合firecrawl

还能这么玩，小板凳搬好了等着看结果。。。

之前也可能是显卡的问题，那会儿想通VEGA 56，，怎么都不行，各种黑屏、各种兼容性报错，什么reset bug，不管windows、ubuntu都不行。弄了好几次，弄的我都残了，后来就有心理阴影了，直通只敢通NVIDIA，方便很多。我现在的7900 XTX只敢跑着裸机Ubuntu，不敢PVE上直通了，虽然很想。

看着你的帖子，我又重燃斗志，

@gg-lib 我在用Ryzen 395啊。395跑qwen3.6 35b a3b模型给hermes 当基础主模型用，开一些cron定时任务，可以干。主要待机省电。

我有很多文字处理和RAG的任务要做，专业微调模型、翻译模型、嵌入模型、视觉识别模型都跑在395上，128GB统一内存开GTT的话，VRAM可以用到～122GB。很多模型可以一直加载着，随时可以用。我觉得395适合需要单人的多开模型的场合，当然算力还是有限、没法并行。

当然395的确不快，尤其是prefill实在是让人着急。hermes-agent正常任务或者长上下文的话我会用另外的7900 XTX跑qwen 27b。

学习中，我一直想pve直通AMD卡，之前折腾过好久都不行。

@mark kv cache放VRAM里就行了啊 放内存慢

@williamlouis 我个人的经验的话，还是得看具体的任务难度。我的hermes的默认profile用的qwen3.6 35b a3，负责做一些简单的任务以及控制cron定时任务，够用了。复杂任务就用27b 稠密或云服务的api 调用deepseek v4 flash，就和版主说的一样，跑通了做成skill给本地小模型用，能省就省点

@九龙杨生 那就只能本地部署或刷卡咯。本地部署得担心爬太多ip被墙了，其他还好。我爬的少，检索咨询为主，问题不大

每个月firecrawl在线也是送1000条还是500条来着，也可以切换着用

本地服务么，还得挂哪个啥，也是成本，

我的本地模型还很自信的帮我修证cron脚本执行错误，然后帮我改了hermes系统架构里的py脚本，然后hermes瘫了！哈哈哈哈，那天一阵忙乱，还好是虚拟机，恢复起来方便。
我后来在SOUL.md里强制他修改系统框架脚本必须我的approval才行

我用本地searxng服务配置给hermes的web_search用，简单的信息搜索他回复很快，貌似是meta search的关系。
深度搜索或需要仔细读取网页内容的时候，hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层，一层是firecrawl爬取网页的速度，还有就是对网页内容进行归纳总结的速度（推理模型的速度），这个可以在config.yaml的服务任务（auxiliary）中设置web_extract部分控制，默认是主模型，但是如果主模型不够快（比如本地小模型），你可以指定其他模型，比如云模型api、或本地更快的模型来执行。

实在不行就用个本地模型（9b这种也够了），让他给你好好试下，总有一个方案能连上，

@mark 纯GPU推理，需要这么大的RAM么？好奇

你试试看这样，base_url后面加/v1:
base_url: https://api.siliconflow.cn/v1
然后provider改成custom

我用的硅基流动的api，也是会碰到没法连接的问题，然后这么改了就行了。

model:
  api_key: 我的密码
  base_url: https://api.siliconflow.cn/v1
  context_length: 524288
  default: deepseek-ai/DeepSeek-V4-Flash
  provider: custom

我用硅基流动的api，看着还没涨价

看着5999的价格，去年年初5400订了台m4 mac mini（加了万兆网卡），现在终于觉得香了。

水果家已经退烧了，Ryzen 395的小盒子用着安心，虽然和去年比也涨了不少

我知道这个resizable bar是因为要做虚拟机硬件直通，哈哈哈。不过之前试过在老板子上插两块5060 Ti后面就是遇到resizable bar的问题，死活不认