上面 @wwcd2016 大神说的应用 我刚好都有使用 obsidian cli (当作 LLM WIKI），确实 comfyui 使用的频率比较低，我是比较好奇自动切换的部分，可能要让 hermes 写个 SKILL 试试 但确实是个好思路 感谢

另外一个现实的问题是，目前没有用这些设备创立营收的话，AI PRO R9700 也是不小的开销

不过谢谢各位大神的意见

关键配置是：你把deepseek作为辅助模型就好了。主模型随便关，随便切换。
我自己有至少5个模型常用的，也是让hermes 随意切换。让它做好脚本保存好。

总之：你的业务如果不冲突：就是说大批量调用llama 的时候也必须用 comfyui。
一张卡挺好用的。

几个实际方案（按推荐顺序）：

1. 分时复用（最实际）：不同时运行，哪个在用就加载哪个。ComfyUI 关掉后再开 llama.cpp，或者反过来。现代 GPU 加载模型很快（10-20 秒），切换成本可以接受

2. llama.cpp CPU offload：如果一定要同时运行，让 llama.cpp 只 offload 少量层到 GPU（--ngl 16，约占 4-5G），大部分推理走 CPU。缺点是推理速度会慢 5-10 倍，但至少可以同时用

3. ComfyUI --lowvram 模式：能大幅降低 VRAM 占用到 4-6G，但生图速度会慢 2-3 倍。配合方案 2 可以同时跑，但两边都慢

4. vLLM / Ollama 限制 GPU 内存：用 --gpu-memory-utilization 0.5 或 OLLAMA_NUM_PARALLEL=1 限制 LLM 只用一半 VRAM，另一半留给 ComfyUI。代价是上下文长度受限

5. 最佳长期方案：再加一张卡。预算有限的话，收一张二手 3060 12G（约 1000 元）专门跑 llama.cpp / vLLM，3090 专注 ComfyUI。两张卡分工明确，互不干扰，是最省心的方案

总结：一张 3090 同时跑两个重型任务不现实。分时复用最实际，两张卡最省心。可以先从方案 1 或 2 开始，等体验到位后再考虑加卡。