从一句自然语言，到 AI 自动设计、建造和测试 3D 游戏场景
项目方向：AI-Native Autonomous Game Development
项目状态：MCP 远程连接、工具发现与 Schema 查询已实测成功；AI 自动建造完整场景属于下一阶段目标。

最近一直在研究一个很有意思的项目。

如果我拥有三台电脑，能不能让它们组成一支 AI 游戏开发团队？

一台电脑负责思考，一台负责创作剧本，另一台负责操作 Unreal Engine。最终，我只需要输入一句话：

帮我创建一个中国古代武侠游戏场景，里面有十间古代民居、一条街道、一座石桥、一条河流。时间是黄昏，玩家能够在村庄里自由探索。

接下来，不是让 AI 教我怎样制作，而是让 AI 自己分析要求、规划场景、寻找 3D 素材，并直接操作 Unreal Engine。

这就是我最近研究的 AI-Native Autonomous Game Development System ——一套以 AI Agent 为核心的自动化游戏开发系统。

目前，我已经成功打通其中最关键的一部分：第一台电脑通过局域网连接第二台电脑的 Unreal Engine 5.8，并成功调用 MCP 接口，读取实际游戏开发工具。 下面分享整个系统的设计、连接测试，以及从一句自然语言到生成 3D 场景的技术实现方案。

下面记录的只是技术文字，不想看的直接跳过，拉到文章最后看我的总结。。

第二章我才说怎样部署unreal engine mcp

一、硬件架构：三台电脑，各自扮演不同角色

我的配置并不是三台相同的高性能电脑，而是让不同硬件负责不同任务。

我把它们分成三个部门。

PC1：AI Director——理解要求，分析游戏开发任务，决定需要调用哪些 Unreal Engine 工具。它运行 DeepSeek Harness（DSH），通过 Qwen 进行推理、规划和工具调用。

PC2：3D Production Studio——真正的游戏制作现场。所有 3D 场景、Actor、材质、Blueprint、动画与游戏预览，最终都在 Unreal Engine 5.8 中执行。

PC3：Creative Department——负责剧情、人物、任务、对白和世界观。它使用 Codex 创作游戏内容，再将结果转换为结构化资料交给主 Agent。

                  USER
                   │ 自然语言
                   ▼
      ┌─────────────────────────┐
      │ PC1 · RTX PRO 4500      │
      │ DSH + Qwen3.8 FN        │
      │ AI Director             │
      │ 分析 · 规划 · 调度       │
      └────────────┬────────────┘
                   │ MCP Client
                   ▼
      ┌─────────────────────────┐
      │ PC2 · RTX 5060 Ti       │
      │ Unreal Engine 5.8       │
      │ MCP Server · 3D Builder │
      │ Scene / Blueprint / FX  │
      └─────────────────────────┘
                   ▲
                   │ Game Design JSON
      ┌────────────┴────────────┐
      │ PC3 · GTX 1060          │
      │ Codex                   │
      │ Story / Quest / NPC     │
      └─────────────────────────┘

三台电脑不需要同时运行 Unreal Engine。 PC1 负责 AI 推理和任务控制，PC2 负责引擎的实际工作，PC3 则专注创意设计。这种分工能降低单台电脑的负担，也让各模块更容易升级。

二、关键技术：Unreal Engine 5.8 MCP

过去我们使用 AI 开发游戏，通常是：

用户提出要求 → AI 生成代码 → 人类复制代码 → 打开 Unreal
→ 手动执行 → 发现错误 → 重新询问 AI

整个过程需要大量人工操作。MCP（Model Context Protocol） 改变了 AI 与软件之间的交互方式。

Unreal Engine 5.8 提供实验性的 MCP 功能，让外部 AI Client 能够发现并调用编辑器提供的工具。例如：

SceneTools                  场景创建与管理
ActorTools                  Actor 属性与 Transform
BlueprintTools              蓝图资源
MaterialTools               材质
NiagaraToolset              视觉特效
PCGToolset                  程序化内容生成
SequencerTools              动画与镜头
AutomationTestToolset       自动化测试
SlateInspectorToolset       Unreal 编辑器 UI 观察与交互

这意味着 AI 不必完全依赖模拟鼠标、键盘来操作 Unreal Editor，而是可以通过 MCP 调用实际编辑器功能。

三、真实测试：PC1 成功连接 PC2 的 Unreal Engine

PC2 实际测试配置：

Unreal Engine : 5.8
PC2 IP        : 192.168.0.204
MCP Port      : 8999
Binding       : 0.0.0.0
MCP Endpoint  : http://192.168.0.204:8999/mcp

最初，我使用浏览器访问 http://192.168.0.204:8999，服务器却返回：

{
  "errorCode": "errors.com.epicgames.httpserver.route_handler_not_found",
  "errorMessage": ""
}

一开始我还以为插件配置错误。后来才明白，MCP 不是普通网页；访问服务器根目录时没有对应 Route Handler，并不代表 /mcp 服务不可用。

接着使用 MCP Inspector 图形界面连接，又出现 Forbidden。于是开始排查 Windows Firewall、Binding Address 和 HTTP 安全限制。

在 PC2 使用 PowerShell 检查监听端口：

Get-NetTCPConnection -LocalPort 8999 -State Listen

确认 0.0.0.0:8999 正由 UnrealEditor 监听，进程 PID 为 21456（该 PID 只对应当时的测试进程）。因此端口和绑定地址已经正确。

还有一个小插曲：一次 Test-NetConnection 显示 SourceAddress 与目标地址都是 192.168.0.204，提示那次测试可能其实是在 PC2 本机执行。本机 TCP 成功，不能直接当作 PC1 跨机器连接成功。

四、突破：真正完成 MCP Initialize

为了绕过浏览器和 Inspector 的界面差异，我改用 PowerShell 发送真实的 MCP JSON-RPC 初始化请求，目标是：

http://192.168.0.204:8999/mcp

实际响应：

HTTP/1.1 200
content-type: application/json;charset=utf-8
Mcp-Session-Id: <服务器生成的 Session ID>

其中 MCP 结果确认协商协议版本为 2025-11-25，且公布了 tools 能力。简化响应如下：

{
  "jsonrpc": "2.0",
  "id": 1,
  "result": {
    "protocolVersion": "2025-11-25",
    "capabilities": {
      "resources": {},
      "tools": { "listChanged": true }
    }
  }
}

这是整次实验的第一个重要突破。 PC1 不仅能访问 HTTP 端口，而且确实能与 PC2 的 Unreal MCP 建立协议会话。

Inspector GUI 的 Forbidden 仍需要单独排查，但并没有阻止 CLI 和直接 HTTP 请求成功。

五、PC1 成功读取 Unreal Engine 的开发工具

在 PC1 执行：

npx @modelcontextprotocol/inspector --cli http://192.168.0.204:8999/mcp --transport http --method tools/list

实际返回三个核心工具：

list_toolsets

describe_toolset

call_tool

进一步执行：

npx @modelcontextprotocol/inspector --cli http://192.168.0.204:8999/mcp --transport http --method tools/call --tool-name list_toolsets --tool-args-json '{}'

成功获取 Unreal 已注册的多个工具集，其中包含场景、Actor、Blueprint、材质、动画、物理、Niagara、PCG、自动化测试和 Slate UI 自动化等。

随后分别读取以下 Toolset 的完整 Schema：

editor_toolset.toolsets.actor.ActorTools
editor_toolset.toolsets.scene.SceneTools

Windows PowerShell 曾将 --tool-args-json 中的双引号处理掉，造成 JSON 格式错误，最终改用已验证成功的 --tool-arg：

npx @modelcontextprotocol/inspector --cli http://192.168.0.204:8999/mcp --transport http --method tools/call --tool-name describe_toolset --tool-arg toolset_name=editor_toolset.toolsets.scene.SceneTools

实际取得的关键函数包括：

以上 MCP 连接、Toolsets 发现和 Schema 查询，均已获得真实测试结果。 尚未把下一节的完整村庄建设流程视为已经执行成功。

六、技术展示：从一句自然语言到 3D 游戏场景

假设我向系统说：

帮我创建一个中国古代武侠村庄。村庄有十间民居、一条主要街道、一座石桥、一条河流。夕阳照射在建筑上，玩家可以从村庄入口自由探索。

理想系统不应该马上盲目生成物体，而是先拆解要求，再执行。

Phase 1：PC3 Codex 把故事转换成 Game Design JSON

{
  "scene_id": "CHINESE_VILLAGE_001",
  "scene_name": "Ancient Chinese Village",
  "environment": {
    "time": "sunset",
    "weather": "clear",
    "theme": "ancient_chinese"
  },
  "buildings": { "type": "traditional_house", "count": 10 },
  "road": { "type": "main_street" },
  "bridge": { "type": "stone_bridge", "count": 1 },
  "river": { "type": "river", "count": 1 },
  "player": {
    "mode": "third_person",
    "spawn": "village_entrance"
  }
}

这份 JSON 是设计说明，不是 Unreal 原生场景文件，其作用是减少各 Agent 对同一任务的理解偏差。

Phase 2：PC1 Qwen 分析任务并规划建造顺序

读取 Scene JSON
    ↓
分析资源需求
    ↓
查找现有 Unreal Assets
    ↓
设计地面、建筑与道路布局
    ↓
创建 Actor 与基础模型
    ↓
应用 Material / Lighting
    ↓
构建 Blueprint / Gameplay
    ↓
读取结果并验证

例如：民居可以先用简单几何体灰盒化；石桥需要桥面与桥墩；河流可先用基础几何体和材质占位；黄昏需要调整光照环境。

Phase 3：PC1 通过 MCP 指挥 PC2 创建 3D Actor

以 Unreal 内置 Cube Mesh 为例，使用已确认 Schema 中的：

SceneTools.add_to_scene_from_asset

内置资源路径常用形式：

/Engine/BasicShapes/Cube

构造一个传给 call_tool 的参数对象：

{
  "toolset_name": "editor_toolset.toolsets.scene.SceneTools",
  "tool_name": "add_to_scene_from_asset",
  "arguments": {
    "asset_path": "/Engine/BasicShapes/Cube",
    "name": "Village_House_01",
    "xform": {
      "location": { "x": 0, "y": 0, "z": 150 },
      "rotation": { "pitch": 0, "yaw": 0, "roll": 0 },
      "scale": { "x": 2, "y": 2, "z": 2 }
    }
  }
}

实际操作时，MCP Client 需要通过 tools/call 将上述参数作为 call_tool 的参数传递，成功后取得新 Actor 的 refPath。再使用 ActorTools.get_actor_transform 检查坐标和缩放是否正确。

这样可以继续创建十间民居占位 Actor，再逐步布置道路、桥梁和河流。但这些属于下一阶段拟实施的完整流程，不应误写成已经由 Qwen 自动建成的游戏村庄。

Phase 4：从基本几何体升级到 3D 素材

必须区分：自动摆放 Unreal 现有 3D 素材，不等于自动制作原创高精度 3D 模型。 更复杂的人物、建筑和动画仍可能需要外部建模软件或专门生成模型。

七、自动检查 AI 创建的 3D 场景

如果 AI 只负责创建，却不负责检查，问题可能包括：建筑埋在地下、桥与路面不连接、模型重叠、玩家出生点错误等。

因此计划让每一次重要操作都形成反馈循环：

AI 创建 Actor
    ↓
MCP 返回执行结果
    ↓
AI 读取 Actor Transform／Label
    ↓
验证位置、尺寸和引用
    ├─ PASS → 继续下一任务
    └─ FAIL → AI 修正 → 重新测试

读取 Transform 只能验证一部分状态；碰撞、玩家通行与视觉正确性还需要结合物理查询、自动化测试或截图等工具。

八、Python GUI：17 项测试全部通过才允许 AI Agent 启动

多次手动执行 PowerShell 命令并不适合长期操作。我因此设计 Python GUI，允许直接输入：

Server IP  : 192.168.0.204
Port       : 8999
MCP Path   : /mcp

点击 RUN ALL MCP TESTS，程序按顺序验证 TCP、MCP 初始化、Session、工具发现、Schema 查询，以及创建临时 Cube、读取 Transform、修改属性、删除与清理等，共 17 项检测。

• 青色 ：PASS
• 红色 ✘：FAILED
• 17/17、100% PASS：允许启动 AI Agent

这里的 100% 指的是定义好的检查项全部通过，不是保证 AI 后续永不出错。GUI 已完成初步开发与模拟测试，仍需要在真实 PC1 PC2 环境中完整验证。

九、最终工作流程：一句话，生成一个游戏世界

                USER IDEA
                    │
                    ▼
         PC3：CODEX STORY AGENT
         Story / NPC / Quest / JSON
                    │
                    ▼
         PC1：QWEN AI DIRECTOR
         Understand / Plan / Dispatch
                    │
                    ▼
             MCP TOOL CALLS
                    │
                    ▼
         PC2：UNREAL ENGINE 5.8
         Actors / Assets / Materials
         Blueprint / Animation / PCG
                    │
                    ▼
            INSPECT & VALIDATE
               ┌────┴────┐
              PASS       FAIL
               │          │
               ▼          ▼
             SAVE       AI FIX
               │          │
               │          └──→ RETEST
               ▼
          PLAYABLE GAME

这张流程图是目标架构：已经实测成功的是 PC1 PC2 的 MCP 通信与工具发现；其余自动协作、生成与测试闭环仍需逐步开发。

将来希望实现：第一张地图完成后继续第二张，读取角色设定后生成 NPC，读取剧情后建立任务，发现错误后分析并修复，最后持续构建整个虚拟世界。

十、进度总结与下一步

状态	项目
	PC1 → PC2 MCP HTTP 初始化成功
	MCP Session 建立成功
	tools/list 成功
	list_toolsets 成功
	ActorTools 完整 Schema 查询成功
	SceneTools 完整 Schema 查询成功
	Python GUI 初步开发与模拟测试
	PC2 真实创建、修改并删除 Cube
	GUI 真实环境 17/17 测试
	DSH + Qwen MCP Agent 集成
	PC3 Codex 剧本 → Scene JSON → Unreal 场景
	自动化生成与验证完整游戏世界

很多人讨论 AI 制作游戏时，关注 AI 能生成多漂亮的图片，或一次生成多少行代码。我更关注：AI 能不能真正操作专业软件，并与其他 AI 分工合作？

这次 Unreal Engine 5.8 MCP 实验已经证明一个关键环节可行：PC1 不需要安装 Unreal Engine，就可以通过网络与 PC2 的 Unreal MCP 建立会话，并发现真实的编辑器工具。下一步的核心挑战是把稳定的 MCP 工具调用融入 DSH + Qwen 的任务执行循环。

最终，我想实现的只有一句话：

我负责想象世界，AI 负责创造世界。

开发环境： Unreal Engine 5.8 · Unreal MCP · DeepSeek Harness（DSH）· Qwen3.8 FN · Codex · Python · Windows · NVIDIA RTX PRO 4500 · RTX 5060 Ti · GTX 1060

说明： Unreal MCP 处于实验性阶段；0.0.0.0:8999 应仅在受信任局域网与访问限制下使用，不宜直接暴露到公网。

等你耐心看到最后，是不是觉得很复杂，对，一开始我研究的时候是很复杂，但是我已经把所有的坑踩过，所有流程弄成自己的py检测器，只要运行就可以了，请下载

UE_MCP_GUI_PC1_PC2_Package.zip