@gg-lib 我在用Ryzen 395啊。395跑qwen3.6 35b a3b模型给hermes 当基础主模型用,开一些cron定时任务,可以干。主要待机省电。
我有很多文字处理和RAG的任务要做,专业微调模型、翻译模型、嵌入模型、视觉识别模型都跑在395上,128GB统一内存开GTT的话,VRAM可以用到~122GB。很多模型可以一直加载着,随时可以用。我觉得395适合需要单人的多开模型的场合,当然算力还是有限、没法并行。
当然395的确不快,尤其是prefill实在是让人着急。hermes-agent正常任务或者长上下文的话我会用另外的7900 XTX跑qwen 27b。