实战!三台电脑组成 AI 游戏开发团队:让 Qwen、Codex 和 Unreal Engine 5.8 一起自动制作 3D 游戏!
-
继续第三章,把项目移交codex 继续开发
现在我打算移交去codex 继续这个任务,
把之前的详细的所有步骤 readme.md 关于一开始的交流和所有的程式和设定档的解说 详细的 handoff.md 让我可以在codex 里面继续 详细 给codex 的提示词下载 Codex 完整交接包
下载 UE MCP GUI V6.5 — Codex Complete Handoff包含需要的三份 Markdown,以及现有程序源码、历史版本和测试资料。
UE_MCP_GUI_V6_5_CODEX_HANDOFF_COMPLETE.zip
文件 内容 README.md 从最初交流到 V6.5 的完整开发历史、架构、部署步骤、全部主要程序及设定档说明 HANDOFF.md 让 Codex 理解目前完成了什么、各模块如何协作、历史错误、当前限制和后续开发方向 CODEX_PROMPT.md 可以直接交给 Codex 的完整开发提示词,包含任务、技术约束、安全要求、实施顺序及验收标准
① README. md — 完整项目技术说明
共 423 行。
包含从最初 MCP 连接测试、17 项检测、武侠村庄 V2/V3、Sequencer V4、PIE V5、Runtime V6,到 V6.3.3 网络编译和 V6.5 游戏打包的开发过程。
特别说明了 PC1、PC2、PC3 的分工、网络地址、MCP 调用方式、SMB 队列、C++ 插件结构,以及各版本为什么需要升级。
② HANDOFF.md — Codex 工程交接
共 278 行。
重点是让 Codex 不必重新猜测原有架构。
包括 UE_MCP_GUI_V6_5.py、PC2_Build_Worker.py、ue_v6_build_manager.py、ue_game_packager.py 和 WuxiaMCPRuntime 的功能与关系。
也记录了之前解决过的 NetFxSDK、WinError 206、PIE 黑屏及 Cook 失败等问题,避免 Codex 重复走旧路。
③ CODEX_PROMPT.md — 完整开发指令
共 253 行。
明确要求 Codex:
首先扫描并理解现有代码,不得从零重写。
保留 V1–V6.5 全部功能,以及 17/10/9 三套独立检测机制。
保持 PC1 → SMB → PC2 的架构,不引入 SSH。
优先改善 Worker 稳定性、任务历史、日志恢复与游戏打包验证。
区分模拟测试与 Unreal Engine 实机测试,不得报告未经验证的成功结果。
UE_MCP_V6_5_Codex_Handoff/
│
├── README.md
├── HANDOFF.md
├── CODEX_PROMPT.md
│
├── source/
│ └── UE_MCP_GUI_V6_5_Package/
│ ├── PC1/
│ │ ├── UE_MCP_GUI_V6_5.py
│ │ ├── ue_shared_build_client.py
│ │ ├── ue_package_client.py
│ │ └── Start_UE_MCP_GUI.bat
│ │
│ ├── PC2/
│ │ ├── PC2_Build_Worker.py
│ │ ├── PC2_Worker_Setup_GUI.py
│ │ ├── ue_v6_build_manager.py
│ │ ├── ue_game_packager.py
│ │ └── WuxiaMCPRuntime/
│ │
│ ├── tests/
│ └── docs/
│
├── legacy/
│ ├── V1–V6 历史源码
│ ├── V6.2–V6.3.3 历史安装包
│ └── diagnostics/
│
├── original_release/
│ └── UE_MCP_GUI_V6_5_COMPLETE_PC1_PC2.zip
│
├── examples/
│ └── worker_config.codex.example.json
│
└── SOURCE_SHA256SUMS.txt
这份交接包包含约 70 份源码、文档、历史程序与诊断资料。我也执行了 Python 语法检查和 V6.5 离线模拟测试,结果通过。
需要特别说明:交接包没有包含 PC2 上完整的 MyProject4 Unreal 项目,例如真实的 .umap、.uasset 和你最终修改过的插件。因此,如果希望 Codex 继续修改真实游戏,也应另外备份这些项目文件。
四、怎样在 Codex 继续?
把完整 ZIP 解压到 Codex 的工作目录,打开该目录后,让 Codex 读取三份 Markdown 及 source 文件夹。
然后将 CODEX_PROMPT.md 的完整提示词复制到 Codex。
它的第一阶段任务已经设定为:
检查现有 V6.5 → 理解全部架构 → 验证测试 → 识别问题 → 在保留原有功能的前提下继续开发。
我也在提示词里规划了后续重点:Job History、Worker 自动恢复、游戏打包完整性验证,以及未来由 Codex 负责剧情、NPC 和游戏内容开发的工作流程。
最终交接包下载 UE MCP GUI V6.5 — Complete Codex Handoff(含三份 Markdown + 全部整理的源码)
UE_MCP_GUI_V6_5_CODEX_HANDOFF_COMPLETE.zip这份资料可以作为后续 Codex 开发的正式起点。
-
第五章,使dlss 5.0 优化画面
第六章,反编译旧游戏,使用unreal engine 重新复刻
-
-
-
我弟你不用担心格式问题,你做好这个系列,我给你开个专区,可以特殊排版。你现在需要吗?,参考mark专区。在AI音视频的子版块里。
刚在其他帖子里谈到虚幻引擎,这玩意AI吃透了生产力是惊人的,尤其是动画。游戏还是需要人。 -
实战!三台电脑组成 AI 游戏开发团队:让 Qwen、Codex 和 Unreal Engine 5.8 一起自动制作 3D 游戏!从一句自然语言,到 AI 自动设计、建造和测试 3D 游戏场景
项目方向:AI-Native Autonomous Game Development
项目状态:MCP 远程连接、工具发现与 Schema 查询已实测成功;AI 自动建造完整场景属于下一阶段目标。最近一直在研究一个很有意思的项目。
如果我拥有三台电脑,能不能让它们组成一支 AI 游戏开发团队?
一台电脑负责思考,一台负责创作剧本,另一台负责操作 Unreal Engine。最终,我只需要输入一句话:
帮我创建一个中国古代武侠游戏场景,里面有十间古代民居、一条街道、一座石桥、一条河流。时间是黄昏,玩家能够在村庄里自由探索。
接下来,不是让 AI 教我怎样制作,而是让 AI 自己分析要求、规划场景、寻找 3D 素材,并直接操作 Unreal Engine。
这就是我最近研究的 AI-Native Autonomous Game Development System ——一套以 AI Agent 为核心的自动化游戏开发系统。
目前,我已经成功打通其中最关键的一部分:第一台电脑通过局域网连接第二台电脑的 Unreal Engine 5.8,并成功调用 MCP 接口,读取实际游戏开发工具。 下面分享整个系统的设计、连接测试,以及从一句自然语言到生成 3D 场景的技术实现方案。
下面记录的只是技术文字,不想看的直接跳过,拉到文章最后看我的总结。。
第二章我才说怎样部署unreal engine mcp

一、硬件架构:三台电脑,各自扮演不同角色
我的配置并不是三台相同的高性能电脑,而是让不同硬件负责不同任务。
电脑 GPU 软件 工作角色 PC1 NVIDIA RTX PRO 4500 DeepSeek Harness(DSH)+ Qwen3.8 FN AI 总指挥、规划与调度 PC2 NVIDIA RTX 5060 Ti Unreal Engine 5.8 + MCP Server 3D 游戏制作与验证 PC3 NVIDIA GTX 1060 Codex 剧本、角色与游戏设计 我把它们分成三个部门。
PC1:AI Director——理解要求,分析游戏开发任务,决定需要调用哪些 Unreal Engine 工具。它运行 DeepSeek Harness(DSH),通过 Qwen 进行推理、规划和工具调用。
PC2:3D Production Studio——真正的游戏制作现场。所有 3D 场景、Actor、材质、Blueprint、动画与游戏预览,最终都在 Unreal Engine 5.8 中执行。
PC3:Creative Department——负责剧情、人物、任务、对白和世界观。它使用 Codex 创作游戏内容,再将结果转换为结构化资料交给主 Agent。
USER │ 自然语言 ▼ ┌─────────────────────────┐ │ PC1 · RTX PRO 4500 │ │ DSH + Qwen3.8 FN │ │ AI Director │ │ 分析 · 规划 · 调度 │ └────────────┬────────────┘ │ MCP Client ▼ ┌─────────────────────────┐ │ PC2 · RTX 5060 Ti │ │ Unreal Engine 5.8 │ │ MCP Server · 3D Builder │ │ Scene / Blueprint / FX │ └─────────────────────────┘ ▲ │ Game Design JSON ┌────────────┴────────────┐ │ PC3 · GTX 1060 │ │ Codex │ │ Story / Quest / NPC │ └─────────────────────────┘三台电脑不需要同时运行 Unreal Engine。 PC1 负责 AI 推理和任务控制,PC2 负责引擎的实际工作,PC3 则专注创意设计。这种分工能降低单台电脑的负担,也让各模块更容易升级。
二、关键技术:Unreal Engine 5.8 MCP
过去我们使用 AI 开发游戏,通常是:
用户提出要求 → AI 生成代码 → 人类复制代码 → 打开 Unreal → 手动执行 → 发现错误 → 重新询问 AI整个过程需要大量人工操作。MCP(Model Context Protocol) 改变了 AI 与软件之间的交互方式。
Unreal Engine 5.8 提供实验性的 MCP 功能,让外部 AI Client 能够发现并调用编辑器提供的工具。例如:
SceneTools 场景创建与管理 ActorTools Actor 属性与 Transform BlueprintTools 蓝图资源 MaterialTools 材质 NiagaraToolset 视觉特效 PCGToolset 程序化内容生成 SequencerTools 动画与镜头 AutomationTestToolset 自动化测试 SlateInspectorToolset Unreal 编辑器 UI 观察与交互这意味着 AI 不必完全依赖模拟鼠标、键盘来操作 Unreal Editor,而是可以通过 MCP 调用实际编辑器功能。
三、真实测试:PC1 成功连接 PC2 的 Unreal Engine
PC2 实际测试配置:
Unreal Engine : 5.8 PC2 IP : 192.168.0.204 MCP Port : 8999 Binding : 0.0.0.0 MCP Endpoint : http://192.168.0.204:8999/mcp最初,我使用浏览器访问
http://192.168.0.204:8999,服务器却返回:{ "errorCode": "errors.com.epicgames.httpserver.route_handler_not_found", "errorMessage": "" }一开始我还以为插件配置错误。后来才明白,MCP 不是普通网页;访问服务器根目录时没有对应 Route Handler,并不代表
/mcp服务不可用。接着使用 MCP Inspector 图形界面连接,又出现 Forbidden。于是开始排查 Windows Firewall、Binding Address 和 HTTP 安全限制。
在 PC2 使用 PowerShell 检查监听端口:
Get-NetTCPConnection -LocalPort 8999 -State Listen确认
0.0.0.0:8999正由UnrealEditor监听,进程 PID 为21456(该 PID 只对应当时的测试进程)。因此端口和绑定地址已经正确。还有一个小插曲:一次
Test-NetConnection显示SourceAddress与目标地址都是192.168.0.204,提示那次测试可能其实是在 PC2 本机执行。本机 TCP 成功,不能直接当作 PC1 跨机器连接成功。
四、突破:真正完成 MCP Initialize
为了绕过浏览器和 Inspector 的界面差异,我改用 PowerShell 发送真实的 MCP JSON-RPC 初始化请求,目标是:
http://192.168.0.204:8999/mcp实际响应:
HTTP/1.1 200 content-type: application/json;charset=utf-8 Mcp-Session-Id: <服务器生成的 Session ID>其中 MCP 结果确认协商协议版本为
2025-11-25,且公布了tools能力。简化响应如下:{ "jsonrpc": "2.0", "id": 1, "result": { "protocolVersion": "2025-11-25", "capabilities": { "resources": {}, "tools": { "listChanged": true } } } }这是整次实验的第一个重要突破。 PC1 不仅能访问 HTTP 端口,而且确实能与 PC2 的 Unreal MCP 建立协议会话。
Inspector GUI 的 Forbidden 仍需要单独排查,但并没有阻止 CLI 和直接 HTTP 请求成功。
五、PC1 成功读取 Unreal Engine 的开发工具
在 PC1 执行:
npx @modelcontextprotocol/inspector --cli http://192.168.0.204:8999/mcp --transport http --method tools/list实际返回三个核心工具:
list_toolsets describe_toolset call_tool进一步执行:
npx @modelcontextprotocol/inspector --cli http://192.168.0.204:8999/mcp --transport http --method tools/call --tool-name list_toolsets --tool-args-json '{}'成功获取 Unreal 已注册的多个工具集,其中包含场景、Actor、Blueprint、材质、动画、物理、Niagara、PCG、自动化测试和 Slate UI 自动化等。
随后分别读取以下 Toolset 的完整 Schema:
editor_toolset.toolsets.actor.ActorTools editor_toolset.toolsets.scene.SceneToolsWindows PowerShell 曾将
--tool-args-json中的双引号处理掉,造成 JSON 格式错误,最终改用已验证成功的--tool-arg:npx @modelcontextprotocol/inspector --cli http://192.168.0.204:8999/mcp --transport http --method tools/call --tool-name describe_toolset --tool-arg toolset_name=editor_toolset.toolsets.scene.SceneTools实际取得的关键函数包括:
工具 用途 SceneTools.get_current_level读取当前 Level SceneTools.find_actors查询 Actor SceneTools.add_to_scene_from_asset由已有 Asset 创建 Actor SceneTools.add_to_scene_from_class由 Actor Class 创建实例 SceneTools.save_actor保存 Actor ActorTools.set_actor_transform修改位置、旋转与缩放 ActorTools.get_actor_transform验证 Transform ActorTools.set_label/get_label修改/读取名称 以上 MCP 连接、Toolsets 发现和 Schema 查询,均已获得真实测试结果。 尚未把下一节的完整村庄建设流程视为已经执行成功。
六、技术展示:从一句自然语言到 3D 游戏场景
假设我向系统说:
帮我创建一个中国古代武侠村庄。村庄有十间民居、一条主要街道、一座石桥、一条河流。夕阳照射在建筑上,玩家可以从村庄入口自由探索。
理想系统不应该马上盲目生成物体,而是先拆解要求,再执行。
Phase 1:PC3 Codex 把故事转换成 Game Design JSON
{ "scene_id": "CHINESE_VILLAGE_001", "scene_name": "Ancient Chinese Village", "environment": { "time": "sunset", "weather": "clear", "theme": "ancient_chinese" }, "buildings": { "type": "traditional_house", "count": 10 }, "road": { "type": "main_street" }, "bridge": { "type": "stone_bridge", "count": 1 }, "river": { "type": "river", "count": 1 }, "player": { "mode": "third_person", "spawn": "village_entrance" } }这份 JSON 是设计说明,不是 Unreal 原生场景文件,其作用是减少各 Agent 对同一任务的理解偏差。
Phase 2:PC1 Qwen 分析任务并规划建造顺序
读取 Scene JSON ↓ 分析资源需求 ↓ 查找现有 Unreal Assets ↓ 设计地面、建筑与道路布局 ↓ 创建 Actor 与基础模型 ↓ 应用 Material / Lighting ↓ 构建 Blueprint / Gameplay ↓ 读取结果并验证例如:民居可以先用简单几何体灰盒化;石桥需要桥面与桥墩;河流可先用基础几何体和材质占位;黄昏需要调整光照环境。
Phase 3:PC1 通过 MCP 指挥 PC2 创建 3D Actor
以 Unreal 内置 Cube Mesh 为例,使用已确认 Schema 中的:
SceneTools.add_to_scene_from_asset内置资源路径常用形式:
/Engine/BasicShapes/Cube构造一个传给
call_tool的参数对象:{ "toolset_name": "editor_toolset.toolsets.scene.SceneTools", "tool_name": "add_to_scene_from_asset", "arguments": { "asset_path": "/Engine/BasicShapes/Cube", "name": "Village_House_01", "xform": { "location": { "x": 0, "y": 0, "z": 150 }, "rotation": { "pitch": 0, "yaw": 0, "roll": 0 }, "scale": { "x": 2, "y": 2, "z": 2 } } } }实际操作时,MCP Client 需要通过
tools/call将上述参数作为call_tool的参数传递,成功后取得新 Actor 的refPath。再使用ActorTools.get_actor_transform检查坐标和缩放是否正确。这样可以继续创建十间民居占位 Actor,再逐步布置道路、桥梁和河流。但这些属于下一阶段拟实施的完整流程,不应误写成已经由 Qwen 自动建成的游戏村庄。
Phase 4:从基本几何体升级到 3D 素材
层次 做什么 重点 Level 1 · Greybox Cube、Plane、Cylinder 快速布局 检查尺寸、动线和关卡结构 Level 2 · Asset Replacement 用已有建筑、石桥、植被模型替换占位物体 资源查找、匹配和组合 Level 3 · Procedural Generation PCG、材质、Blueprint、灯光与装饰 场景丰富度与可复用流程 必须区分:自动摆放 Unreal 现有 3D 素材,不等于自动制作原创高精度 3D 模型。 更复杂的人物、建筑和动画仍可能需要外部建模软件或专门生成模型。
七、自动检查 AI 创建的 3D 场景
如果 AI 只负责创建,却不负责检查,问题可能包括:建筑埋在地下、桥与路面不连接、模型重叠、玩家出生点错误等。
因此计划让每一次重要操作都形成反馈循环:
AI 创建 Actor ↓ MCP 返回执行结果 ↓ AI 读取 Actor Transform/Label ↓ 验证位置、尺寸和引用 ├─ PASS → 继续下一任务 └─ FAIL → AI 修正 → 重新测试读取 Transform 只能验证一部分状态;碰撞、玩家通行与视觉正确性还需要结合物理查询、自动化测试或截图等工具。
八、Python GUI:17 项测试全部通过才允许 AI Agent 启动
多次手动执行 PowerShell 命令并不适合长期操作。我因此设计 Python GUI,允许直接输入:
Server IP : 192.168.0.204 Port : 8999 MCP Path : /mcp点击 RUN ALL MCP TESTS,程序按顺序验证 TCP、MCP 初始化、Session、工具发现、Schema 查询,以及创建临时 Cube、读取 Transform、修改属性、删除与清理等,共 17 项检测。
- 青色
:PASS - 红色 ✘:FAILED
- 17/17、100% PASS:允许启动 AI Agent
这里的 100% 指的是定义好的检查项全部通过,不是保证 AI 后续永不出错。GUI 已完成初步开发与模拟测试,仍需要在真实 PC1
PC2 环境中完整验证。
九、最终工作流程:一句话,生成一个游戏世界
USER IDEA │ ▼ PC3:CODEX STORY AGENT Story / NPC / Quest / JSON │ ▼ PC1:QWEN AI DIRECTOR Understand / Plan / Dispatch │ ▼ MCP TOOL CALLS │ ▼ PC2:UNREAL ENGINE 5.8 Actors / Assets / Materials Blueprint / Animation / PCG │ ▼ INSPECT & VALIDATE ┌────┴────┐ PASS FAIL │ │ ▼ ▼ SAVE AI FIX │ │ │ └──→ RETEST ▼ PLAYABLE GAME这张流程图是目标架构:已经实测成功的是 PC1
PC2 的 MCP 通信与工具发现;其余自动协作、生成与测试闭环仍需逐步开发。将来希望实现:第一张地图完成后继续第二张,读取角色设定后生成 NPC,读取剧情后建立任务,发现错误后分析并修复,最后持续构建整个虚拟世界。
十、进度总结与下一步
状态 项目 
PC1 → PC2 MCP HTTP 初始化成功 
MCP Session 建立成功 
tools/list成功
list_toolsets成功
ActorTools 完整 Schema 查询成功 
SceneTools 完整 Schema 查询成功 
Python GUI 初步开发与模拟测试 
PC2 真实创建、修改并删除 Cube 
GUI 真实环境 17/17 测试 
DSH + Qwen MCP Agent 集成 
PC3 Codex 剧本 → Scene JSON → Unreal 场景 
自动化生成与验证完整游戏世界 很多人讨论 AI 制作游戏时,关注 AI 能生成多漂亮的图片,或一次生成多少行代码。我更关注:AI 能不能真正操作专业软件,并与其他 AI 分工合作?
这次 Unreal Engine 5.8 MCP 实验已经证明一个关键环节可行:PC1 不需要安装 Unreal Engine,就可以通过网络与 PC2 的 Unreal MCP 建立会话,并发现真实的编辑器工具。下一步的核心挑战是把稳定的 MCP 工具调用融入 DSH + Qwen 的任务执行循环。
最终,我想实现的只有一句话:
我负责想象世界,AI 负责创造世界。
开发环境: Unreal Engine 5.8 · Unreal MCP · DeepSeek Harness(DSH)· Qwen3.8 FN · Codex · Python · Windows · NVIDIA RTX PRO 4500 · RTX 5060 Ti · GTX 1060
说明: Unreal MCP 处于实验性阶段;
0.0.0.0:8999应仅在受信任局域网与访问限制下使用,不宜直接暴露到公网。等你耐心看到最后,是不是觉得很复杂,对,一开始我研究的时候是很复杂,但是我已经把所有的坑踩过,所有流程弄成自己的py检测器,只要运行就可以了,请下载
UE_MCP_GUI_PC1_PC2_Package.zip

@imbiplaza-ASUS 大大~ AI director的主機RTX pro 4500都跑得順暢嗎? 我也有遊戲開發+comfyui需求, 已有4090D 24GB, 但總是欠那麼一點點Vram, 覺得32GB剛好, 在想R9700還是RTX pro 4500, 謝謝
- 青色
-
@imbiplaza-ASUS 大大~ AI director的主機RTX pro 4500都跑得順暢嗎? 我也有遊戲開發+comfyui需求, 已有4090D 24GB, 但總是欠那麼一點點Vram, 覺得32GB剛好, 在想R9700還是RTX pro 4500, 謝謝
不要买rtxpro 4500 ,现在价格,虚高,我前几个月买rtxpro 4500 只不过是现在的r9700pro 的价格
我建议先不要碰非nvidia显卡,
现在最便宜的应该是4080s 32g 魔改了
-
不要买rtxpro 4500 ,现在价格,虚高,我前几个月买rtxpro 4500 只不过是现在的r9700pro 的价格
我建议先不要碰非nvidia显卡,
现在最便宜的应该是4080s 32g 魔改了
@imbiplaza-ASUS 謝呀~真有點糾結, 也有想過魔改4090D 48G, 但總有點擔心質量
-
另外想請教,如果我有4090D和3090, 那一張卡該分配做PC2較好?
-
@imbiplaza-ASUS 謝呀~真有點糾結, 也有想過魔改4090D 48G, 但總有點擔心質量
-
另外想請教,如果我有4090D和3090, 那一張卡該分配做PC2較好?
其实不用pc2的,如果你的电脑拥有足够的空间,那就可以在一部电脑里面做到完
-
其实不用pc2的,如果你的电脑拥有足够的空间,那就可以在一部电脑里面做到完
@imbiplaza-ASUS 哦~ 因為PC1跑3.8 FN已經佔了大部份算力, 好像負荷不了同時跑unreal; 反而PC 3的角色好像可以搬到PC2上? 可以這樣理解嗎? 或是一千塊的minipc也能替代PC3?
-
@imbiplaza-ASUS 哦~ 因為PC1跑3.8 FN已經佔了大部份算力, 好像負荷不了同時跑unreal; 反而PC 3的角色好像可以搬到PC2上? 可以這樣理解嗎? 或是一千塊的minipc也能替代PC3?
pc1 负责主力strata
pc2 负责unreal 渲染
pc3 可以是手机,也可以是ipad, 不一定是要电脑,甚至我想用tailscale 接驳mac笔电,在startbuk 耍帅弄3d游戏 -
@imbiplaza-ASUS 大大~ AI director的主機RTX pro 4500都跑得順暢嗎? 我也有遊戲開發+comfyui需求, 已有4090D 24GB, 但總是欠那麼一點點Vram, 覺得32GB剛好, 在想R9700還是RTX pro 4500, 謝謝
-
-
-
@imbiplaza-ASUS 這真的是思維高度問題,看作投資還是消耗,但刷卡的痛是真的
-
-
-