游戏测试方案

AI 驱动的游戏测试全景 · 从引擎内部控制到视觉 AI 再到专业平台

为什么需要单独的游戏测试方案？

游戏的画面是 GPU 实时渲染的像素流，没有 DOM、没有标准控件树。前面介绍的 Web/移动端/桌面端方案无法直接套用。本篇介绍目前 AI 驱动的三条主流路线和专业性能测试工具。

游戏测试的核心难点

普通 App（Web / 移动端 / 桌面端）有标准的控件树（DOM / Accessibility Tree / UI Automation），AI 可以通过结构化数据理解界面。但游戏完全不同：

画面是 GPU 实时渲染的像素，没有 DOM
UI 元素是 Unity 的 GameObject，外部工具看不到
游戏逻辑复杂（战斗、物理、AI 行为），测试不只是"点按钮"
性能敏感：帧率、内存、卡顿、发热都是核心指标

核心矛盾

传统自动化测试依赖的"控件树 → 定位元素 → 操作"模式，在游戏场景下完全失效。游戏测试需要专用方案。

目前 AI 驱动的游戏测试有以下几条路线：

路线一：MCP 打通引擎（内部控制） → 路线二：视觉 AI + 强化学习（外部操作） → 路线三：专业游戏测试平台

路线一：MCP 打通 Unity 引擎

核心思路：AI 从"内部"控制游戏，通过 MCP 协议直接调用 Unity 引擎的内部 API。

1. Unity-MCP（最活跃的开源方案）

地址： https://github.com/IvanMurzak/Unity-MCP 2,000+ Star

原理

三层架构，让 AI 直接"钻进" Unity 引擎内部操作。核心是：任何 C# 方法都可以通过一行代码变成 MCP 工具，AI 能直接调用游戏内部 API。

工具集：52 个工具 + 48 个提示，分 12 个类别

类别	能力
Assets	创建/删除/查找/复制文件夹、创建材质、实例化 Prefab
GameObject	创建/查找/修改/删除游戏对象、添加组件
Scene	场景加载/保存/切换
Script	创建/修改 C# 脚本
Tests	运行 EditMode/PlayMode 测试，获取测试结果
Screenshot	截取编辑器/游戏画面
Console	读取 Unity 控制台日志/错误/警告
Package	管理 Unity Package
Reflection	运行时反射调用任意 C# 方法

安装

# 1. Unity 编辑器中通过 OpenUPM 安装
openupm add com.ivanmurzak.unity-mcp

# 2. 或通过 Docker
docker pull ivanmurzak/unity-mcp

# 3. 配置 Cursor MCP（自动检测端口）

Unity 要求版本 2022.3+，支持 14 个 AI 客户端（Cursor / Claude / Copilot / Gemini 等），完全免费。

示例

在 Cursor 中说：

"运行所有 PlayMode 测试，告诉我哪些失败了"
"创建一个测试场景，生成 100 个敌人，检查帧率是否掉到 30 以下"
"截图当前游戏画面，检查 UI 是否正常渲染"
"查看控制台有没有错误日志"

效果

AI 能像一个坐在 Unity 编辑器前的开发者一样操作引擎
可以直接调用游戏内部 API，精准控制
不依赖视觉识别，操作准确率 100%
但只能在编辑器/开发环境中使用，不能测试发布后的包

2. VibeLink（视觉 + 内部混合方案）

地址： https://github.com/elad12390/unity-vibe-link

原理：四大能力

能力	比喻	说明
视觉验证	The Eyes（眼睛）	捕获 Game View / Scene View 截图，AI 看到游戏画面
直接操纵	The Hands（手）	在 Unity 中直接执行 C# 代码
状态查询	The Brain（大脑）	用 CSS 选择器查询 GameObject 状态和属性值
自动化测试	The Time Machine（时间机器）	进入 Play Mode 运行指定时长，自动捕获所有日志和崩溃

安装

复制 Unity 包到 Packages 目录
安装 MCP Server（需要 Node.js 18+）
配置 AI 客户端的 MCP
Unity 中启动：Tools → VibeLink → Start Host

示例

"截个游戏画面看看，UI 布局对不对"
"进入 Play Mode 跑 60 秒，看看有没有报错"
"查询 Player 对象的 Health 属性是否为 100"
"执行这段 C# 代码生成 50 个测试对象"

效果

结合了视觉（截图验证）和内部（代码执行、状态查询）两种方式
适合 AI 做"看画面 + 改代码 + 验证结果"的闭环
目前还是 alpha 版本，功能在完善中

路线二：视觉 AI + 强化学习

核心思路：AI 从"外部"像玩家一样玩游戏，纯图像输入 → AI 理解画面 → 输出模拟操作。

3. 腾讯 WeTest GameAI SDK / GAutomator

GameAI SDK： https://wetest.qq.com/product/game_ai_sdkGAutomator 开源： https://github.com/Tencent/GAutomator 腾讯开源

GameAI SDK 原理

纯图像输入 → AI 理解画面 → 输出模拟触屏操作。不依赖游戏内部 API，只看画面，像玩家一样操作。

SDKTool（配置工具） → AI SDK（核心引擎） → AIClient（执行端）

**支持的游戏类型：**跑酷、吃鸡、射击、MOBA、RPG 等

GAutomator（Unity 专用）原理

在游戏中集成 SDK（U3DAutomation.dll）
通过 TCP 协议（端口 27019）通信
基于 GameObject 定位元素（不依赖坐标，不受分辨率影响）
Python 编写自动化脚本

安装（GAutomator）

导入 U3DAutomation.dll 到 Unity 项目
在 GameObject 上挂载 U3DAutomationBehaviour 组件
打包后用 Python 脚本控制

使用方式

# GAutomator Python 脚本示例
from GAutomator import engine

# 查找游戏对象
login_btn = engine.find_element("/Canvas/LoginButton")
engine.click(login_btn)

# 获取游戏对象属性
hp = engine.get_element_text("/Canvas/HpText")

效果

腾讯内部大量游戏在用（王者荣耀、和平精英等验证过）
GAutomator 开源免费，GameAI SDK 需要接入 WeTest 平台
基于 GameObject 操作鲁棒性强，不受分辨率/机型影响

4. AI 测试 Bot（强化学习 + 视觉识别方案）

架构模式 来源：业界实践方案（非单一产品，是一种架构模式）

原理

用强化学习训练一个 AI Bot，让它像玩家一样自动探索游戏。基于 Unity ML-Agents 实现：

public class TestAgent : Agent
{
    public override void CollectObservations(VectorSensor sensor)
    {
        // 收集游戏环境信息
        sensor.AddObservation(transform.localPosition);
        sensor.AddObservation(targetPosition);
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        // 执行测试动作
        float moveX = actions.ContinuousActions[0];
        float moveZ = actions.ContinuousActions[1];
        
        // 奖励机制：发现新区域 +1，重复路径 -0.1，发现 Bug +5
        AddReward(rewardValue);
    }
}

关键优化

TensorRT 加速推理（FP16 量化）
特征点匹配代替绝对坐标（处理动态 UI）
多 Bot 并行 + 集中式 Replay Buffer 共享经验

实测效果（某 MOBA 游戏）

回归测试时间缩短 78%
边界场景发现率提升 4.2 倍
单卡 T4 GPU 即可承载

路线三：专业游戏测试平台

5. Regression Games（Unity 专业 AI 测试平台）

官网： https://www.regression.gg/文档： https://docs.regression.gg/

原理

专门为 Unity 游戏构建的端到端 AI 测试平台，核心是 Bot Sequences 引擎——可以把多种测试技术混合编排：

测试方式	说明
智能录制回放	记录玩家操作，回放时自动适配
计算机视觉（OCR + 物体检测）	从截图识别游戏内文本和对象
脚本化代码	传统的代码驱动测试
Monkey Bot	随机探索游戏，发现边界情况和崩溃
混合编排	以上方式自由组合

安装

Unity 中通过 Package Manager → Add by Git URL 导入 SDK
在场景中添加一个 GameObject 挂载 Regression Games 组件
注册账号，配置 API Key
支持 Animation Rigging 和 ECS 扩展

使用方式

拖拽式创建测试流程（录制 → 验证 → 探索 → 断言）
SDK 自动捕获游戏状态、截图、日志、性能数据
通过 Dashboard 查看结果，支持 CI/CD 集成

效果

几分钟内创建第一个自动化测试
不限于一种技术，灵活组合
支持编辑器 / 构建包 / CI 三种运行模式
自动记录游戏状态用于回归对比

游戏性能测试

6. PerfDog（腾讯 WeTest，游戏性能测试事实标准）

地址： https://wetest.qq.com/product/perfdog 行业事实标准

原理

非侵入式采集（不需要改游戏代码），通过 USB 连接设备实时采集性能数据，对设备 CPU 影响 < 1%。

核心指标

类别	指标
帧率	FPS、帧率方差、降帧次数
卡顿	Jank（帧耗时 > 前三帧均值 2 倍且 > 84ms）、BigJank（> 125ms）
CPU	整机/进程 CPU 使用率、核心频率
GPU	GPU 使用率（高通芯片）
内存	PSS、Native PSS、GFX、GL 等分类
功耗	电流、电压、功率
网络	进程级流量收发
温度	CPU 温度

Unity 项目集成方式

打 Release 包 → PerfDog 采集标准性能数据
用 PerfDogService API 上传自定义指标（如怪物数量、特效数量）
通过 PlayerLoopSystem 统计关键模块耗时

使用方式

下载 PerfDog 客户端（Windows / Mac）
USB 连接手机
选择要测试的游戏进程
开始采集 → 玩游戏 → 停止 → 查看报告
数据自动上传云端看板

效果

无需 ROOT / 越狱
即插即用，无侵入
云端协作，团队共享数据
是国内游戏行业的事实标准（王者荣耀、原神等都在用）

游戏测试全景总结

路线	方案	原理	适用场景
MCP 内部控制	Unity-MCP	MCP 协议直接调用 Unity 内部 API（52 个工具）	开发阶段、编辑器内测试
MCP 混合	VibeLink	截图 + C# 执行 + 状态查询 + Play Mode 测试	视觉验证 + 功能测试
GameObject 操作	GAutomator（腾讯开源）	TCP 通信 + GameObject 定位	Unity 手游 UI 自动化
纯视觉 AI	GameAI SDK（腾讯 WeTest）	图像识别 + AI 决策，像玩家一样操作	发布包测试、兼容性测试
强化学习	ML-Agents + YOLOv8 + DQN	训练 AI Bot 自动探索游戏	自动遍历、边界场景发现
专业平台	Regression Games	录制 + CV + Monkey + 脚本混合编排	端到端游戏测试
性能测试	PerfDog	无侵入采集 FPS/Jank/CPU/内存/功耗	游戏性能调优

课堂练习

Unity3D 项目推荐组合：

阶段	推荐方案	说明
开发阶段	Unity-MCP / VibeLink	AI 在编辑器内快速验证
功能测试	GAutomator	基于 GameObject 的 UI 自动化
探索测试	Regression Games Monkey Bot / ML-Agents RL Bot	发现边界问题
视觉测试	GameAI SDK / VibeLink	纯图像验证渲染正确性
性能测试	PerfDog	帧率/卡顿/内存/功耗全指标采集
CI 回归	Regression Games	编辑器/构建包/CI 全流程自动化

补充练习与参考答案

补充练习

列出 3 类游戏场景最适合引入 AI 测试。
如果 AI 用于辅助剧情或 NPC 对话，你会重点测哪些风险？
为什么游戏测试往往需要把功能、体验和风控一起看？

参考答案要点

适合 AI 的场景通常包括对话生成、内容审核、自动回归和运营辅助。
NPC 对话要重点测设定一致性、越界内容、上下文遗忘和用户可利用漏洞。
游戏体验高度主观，单看功能是否可用不够，还要看沉浸感、平衡性和风险暴露。

游戏测试方案 ​

游戏测试的核心难点 ​

路线一：MCP 打通 Unity 引擎 ​

1. Unity-MCP（最活跃的开源方案） ​

原理 ​

工具集：52 个工具 + 48 个提示，分 12 个类别 ​

安装 ​

2. VibeLink（视觉 + 内部混合方案） ​

原理：四大能力 ​

安装 ​

路线二：视觉 AI + 强化学习 ​

3. 腾讯 WeTest GameAI SDK / GAutomator ​

GameAI SDK 原理 ​

GAutomator（Unity 专用）原理 ​

安装（GAutomator） ​

使用方式 ​

4. AI 测试 Bot（强化学习 + 视觉识别方案） ​

原理 ​

关键优化 ​

路线三：专业游戏测试平台 ​

5. Regression Games（Unity 专业 AI 测试平台） ​

原理 ​

安装 ​

使用方式 ​

游戏性能测试 ​

6. PerfDog（腾讯 WeTest，游戏性能测试事实标准） ​

原理 ​

核心指标 ​

Unity 项目集成方式 ​

使用方式 ​

游戏测试全景总结 ​

补充练习与参考答案 ​

补充练习 ​

参考答案要点 ​

游戏测试方案

游戏测试的核心难点

路线一：MCP 打通 Unity 引擎

1. Unity-MCP（最活跃的开源方案）

原理

工具集：52 个工具 + 48 个提示，分 12 个类别

安装

2. VibeLink（视觉 + 内部混合方案）

原理：四大能力

安装

路线二：视觉 AI + 强化学习

3. 腾讯 WeTest GameAI SDK / GAutomator

GameAI SDK 原理

GAutomator（Unity 专用）原理

安装（GAutomator）

使用方式

4. AI 测试 Bot（强化学习 + 视觉识别方案）

原理

关键优化

路线三：专业游戏测试平台

5. Regression Games（Unity 专业 AI 测试平台）

原理

安装

使用方式

游戏性能测试

6. PerfDog（腾讯 WeTest，游戏性能测试事实标准）

原理

核心指标

Unity 项目集成方式

使用方式

游戏测试全景总结

补充练习与参考答案

补充练习

参考答案要点