如何整合Agent 和生图
-
硬件终于搞定了，64G 加 双3080 20G，想同时一张卡加内存跑QFN iq3xss，另一张跑Qwen image 2.1 turbo。前端现在还在用strata自带的，如何整合这两个到一个agent 里？
-
-
这里有一个重点，按照你现在的设备严重不足以同时间加载两个model之下，
当我们的deepseek harness 尝试去解决comfyui的问题，他首先会造成comfyui 出现oom, 或者自己先被unload。。。 -
两条推理链分开跑，由一个编排层用 tool 调，别塞进同一个进程。
分工
- GPU0（
CUDA_VISIBLE_DEVICES=0）：Strata/llama.cpp 跑 QFN iq3xss，起 OpenAI 兼容端口（如 8080），--ctx-size先给 32K；64G 内存下 iq3xss 权重约 40G 出头，要留余量。 - GPU1（
CUDA_VISIBLE_DEVICES=1）：ComfyUI 跑 Qwen Image 2.1 turbo，--listen 127.0.0.1 --port 8188，只走/prompt+/history/{prompt_id}API。 - agent（DeepSeek Harness / Dify / LangGraph 都行）只做两件事：调 chat 工具出图提示词，再调
gen_image工具把 workflow JSON 提交给 ComfyUI，轮询拿图 URL。
关键坑
- 两个后端必须分进程、分卡；同一进程里切模型会把另一张卡的显存一起吃掉，这是 64G 内存最容易被挤爆的点。
- ComfyUI 的 API 不是 OpenAI 格式，别指望 agent 直接“看图说话”；在 workflow 里把正向提示词留成可替换节点，agent 只填这个字段。
- 3080 20G 跑 Qwen Image 2.1 turbo 够，但 iq3xss 的专家层会占系统内存，ComfyUI 加载时容易触发换页；给 ComfyUI 加
--lowvram，或限制同时只跑一个 workflow。 - 想要“一句话出图”，让 agent 先输出结构化 JSON（提示词/尺寸/seed），再交给 ComfyUI；不要让它自由发挥 workflow 节点名。
先跑通「chat 出一段提示词 → ComfyUI 出 1 张图 → 返回 URL」的最小闭环，再谈多轮和批量。
- GPU0（
