# Lumine 技术深度解析：字节跳动如何在《原神》中训练出通用 3D 世界智能体？

>关键词：3D Agent、开放世界、视觉-语言-行动统一模型、LLM 控制、数据驱动决策、泛化能力

2025 年底，终于有AI可以真的玩开放世界了：Lumine，一个能在真实游戏画面中以键鼠操作完成长时程任务的通用智能体。
![https://developer.qcloudimg.com/http-save/yehe-3970022/c34d0027003118f65040d2912c380e3c.png](https://developer.qcloudimg.com/http-save/yehe-3970022/c34d0027003118f65040d2912c380e3c.png)

它不仅能在《原神》中从像素级画面完成数小时主线任务，还能在零样本情况下迁移到《鸣潮》《崩坏：星穹铁道》等完全不同的游戏中继续执行操作。

本质上就是通过大模型，然后输入游戏中的画面，然后让大模型输出决策动作。这是一个极具价值的“多模态决策系统”范例。

字节团队把这个模型应用到《原神》上，用来控制玩家的不同操作。比如看到画面有“红色日落果”，模型就会输出：
>靠近并拾取前方的红色日落果

![https://developer.qcloudimg.com/http-save/yehe-3970022/e84d40fe9ddb70b668f893d742cbf722.png](https://developer.qcloudimg.com/http-save/yehe-3970022/e84d40fe9ddb70b668f893d742cbf722.png)

# Lumine效果演示

Lumine 不仅能实时追踪敌方动态、实现远距离精准打击，队伍成员间的切换操作亦极为顺滑。此外，珍贵的宝箱资源也将被悉数纳入囊中。

![1[20251202-104217].png](https://developer-private-1258344699.cos.ap-guangzhou.myqcloud.com/column/article/3970022/20251202-92562855.png?q-sign-algorithm=sha1&q-ak=AKIDEsLaLCe-ESBjOxtY0hRM_PyK03V7qxZG4ZWnhVSG042sgGsQlOPXqDWa4unzb4oG&q-sign-time=1764644276;1764649676&q-key-time=1764644276;1764649676&q-header-list=host&q-url-param-list=&q-signature=99a1c53a56f99a5123fbc0114cfedbe8a9229b7a&x-cos-security-token=f1ZVkt09PjMABSzuyRh58fTLSwqwRRDa93f9319e31d68b028b81920f2a0a970c2g3tfjmSJv_53XhlLSwreeME5aMJK5OMu41aKTiZ2zgHleggYZMBrRp1Ijp2lnEXJap8apGT5w1oqgoM4nvMrA94jeVbALTY0zFyckAuJtZ82gJMt3vwqfKzwchzRv63GwWHPu54cHNF4R79Xz5eEd5K8Vhajd7X12PR15amd77jBZ3RpYrAAw-EMZ6iqISa5TT-4SaQ8wL5i0Uh-6WG65RmTWbRuf4Gcns08spMMERboG6X2CSv1RJ1crHhHeHPYwiVNZMXnU2Nm7RC55DTtqGwtPtlqT2Jv4DVGZLX09gCH08wo8q5Nux2zgHyTkCP8i8rRSnOVG-xXyK7pwWlH9RnJRP0eQMOmL3o48LkRDFJW5LNDF9UZhEocFSo5CaYS0gNWFengLjU0ziYNj3lhFIwsbcIVIs-hOk-BB5i09t95HeiDYbMUSDTOJMj9bSFDQqkOVIa2ev1Vvi29vuwRhx0sWnlAMLWsHgL_rdw2WYA_i64J6iNuAjjGl_wLBZHK6-mG_52HSUnYbRSj9rj0ZgOj0jbhNeVN6KwBhuNfgQl1-Ays_rtUrcKXkavlWQ0gXk-gC_z3dQgdfAOxmJcy8Wbl2pB7j-AD2qoBjXW97jEyRsv4_WOFgSJiz-r1CwPai3Ey9dZAUSekWeMvIxaEhi2gezSXgkOWnrdVGBUmSWbwafIqKm2DiqyxjLU9B6X)


在进阶难度的Boss战中，Lumine同样展现出卓越的理解能力。

![20251202-104226].png](https://developer-private-1258344699.cos.ap-guangzhou.myqcloud.com/column/article/3970022/20251202-1ec73c70.png?q-sign-algorithm=sha1&q-ak=AKIDvTyZ2Fx_1pbKUWZ4tCT4tRwUXKac0uWvWCBNUqLYXRJC9JS8ycEvQOqv0cdYUfQg&q-sign-time=1764644334;1764649734&q-key-time=1764644334;1764649734&q-header-list=host&q-url-param-list=&q-signature=33253d1c21e6cce40ec42aae0f0fa75d48b35d78&x-cos-security-token=0h3TcYNLJ1lakpCnEV2j9LJGXQnxvVga2baffd9b9f20800729728a2272f8aec4E1ecSF9PsITSKmCcsOM4sA3RdyMIC4Hgml_tfYqxNyb1gdcP5qZ4NE6RpCdqLe-QUtOq8B53vFVG0kt6rIl5toqL62Wk6cRR1JH77xAKjAMI7kkGrOMzZLnuOfF0HZZkJY6Qn0nqrC5OjCE6kiH8CcxldROeBJbBVwe6EiaiWaI27IqbwLMM6LDgL3d_VymKrGSrdfXOFU3wfXEIt3BybeiD2AhezEh9U5Ka7xVEVsUP_bWLEhUJzj4c-FId9UFRHPELFJRyRU0uRmu7rGUjrFjw_x5-Ajy-hmkO6vml794oQRW9An8gnJIHbxuTopVIFzRUClYGY_7FqCXnuAWdsFO25EI1XTsi-AQE2dyR6QXhqx_sh9wSlD7SxDRNALOBJUsTeRvJVHqoS57CUUG5ql9wJgPBB8pK0_JljdAAQ6gPA9xvu9tdL7NIbg2PmsksKZzIZvuUTCVaL2KpJj68A9787b3i4CiIyZmOFVcuJzYnYgViVUvu2pfE_dyMHvANRwtEAeu-kP7-yvr5uDDY4nR6VT2H8HHW8GAl8lpsSVuHn5SVtsDobWeWznCTh_pE7ynCT8rvUlepSgHyYgOan-Fo2abxy3o7kBc8vL0RRWhcSIF04jEqYptSUHc7jngaiuHCurj6fJFKDa7B4GPX_pJYg1xQZGvs9Bq2eMw3PgaSiPIYv7kM2G0Gonq9CbIf)

可在多NPC场景中精准定位特定对象，实现与NPC的交互对话。

![20251202-104234].png](https://developer-private-1258344699.cos.ap-guangzhou.myqcloud.com/column/article/3970022/20251202-3dae0cdb.png?q-sign-algorithm=sha1&q-ak=AKIDkSlBRgOlklK3EismM5TESbt7zrFjJ8qNpqb_MV0vZRnA3uxr-XsTQXLIWRicdA6l&q-sign-time=1764644344;1764649744&q-key-time=1764644344;1764649744&q-header-list=host&q-url-param-list=&q-signature=29bef5765e724ec4d46859781b6fab2f2dc2138c&x-cos-security-token=f1ZVkt09PjMABSzuyRh58fTLSwqwRRDadc6cc7c69fba9fe7ef6de9e6c7d3f39d2g3tfjmSJv_53XhlLSwree8N_BVLDbO4hZAvE0Qg3h7zcrzBImyJudGbF_qcYDT9s_aIDvlHgjNLAgHhArCo_iPWAHy8_mNUYVGUxfM43LG9xKQZAVfeIr1IzL5Ul47_GZ9b-5Awtg4YsPya5BthZ_k-N38OjEhnp3iYy9jGtxXhvu0ojYQNR9P5h7SWkiZF2SYx2sbNy0-q3Zjoqm2DYG__0LU4zjUbsOQ6s0ZieuqIgfpfaocJ1j_z1THagUqd9a-TdQwSIGTGZjjcrTqgegmtLwEgfcLDZ35VrulKJVWO9_sMEirP8f88Rt4RJK06_QU61jeSHCQsdHVIZhv7CyZY_0ta8nX74Ckf5a3K_-PUIZD4Z2t97ADJVS2oywa8zfErKXMfOlSDFf_kHld1Cb8HJxTXCy4fD-gyIK-mlOuLxzQYZh3zwQlKuoieixfbGqeS4XEqyJiWpTLRoZYJ9RCrdcx5i-UV9Y24z-vfGayNw8cbh43cF6oWkgBbDQWObin-r-PCr5T5kTH4mhMFAZRmk3FnE6ks_n0V8Pv9FGShNsmuw1NASlrNxVmO17SQu982wK6xMMLhY0HMf_brv-DkfD1WiAuxgT2Y8PzVIP7hExg1j6l6Bz7HyXcWiy_dlOxUjpPF3znlto4cZbBCHDPU-39AAEcL0lSvUX9adOxjk9fA1VWNVVj9kBWEtrG3) 

在原神“蒙德主线任务中，共有5个子任务，其中Lumine-Thinking 模型完成时间用了56 分钟，而对于一个初级玩家来说，平均耗时要78分钟，高水平玩家则需要53分钟。整体来看：AI 的表现与专家玩家接近，速度明显快于新手玩家。
![https://developer.qcloudimg.com/http-save/yehe-3970022/b444462d3ff7e549e7786de91f4d7a19.png](https://developer.qcloudimg.com/http-save/yehe-3970022/b444462d3ff7e549e7786de91f4d7a19.png)


# 架构整体：视觉  +  语言推理 + 动作控制的统一

那么这种能够自主玩游戏的智能体到底是怎么做出来的呢？
![https://developer.qcloudimg.com/http-save/yehe-3970022/582fcfbc7023e5eac403cfd17e64bdf2.png](https://developer.qcloudimg.com/http-save/yehe-3970022/582fcfbc7023e5eac403cfd17e64bdf2.png)
从上面架构图来看，其实很好理解。本质上就是通过“像素输入 → 视觉编码器 → LLM 推理（含 inner monologue）  → 输出决策动作 键盘/鼠标动作”

视觉模型主要还是用于捕获：
- 角色方向、位置
- 敌人动作与攻击信号
- 地形结构与可探索区域
- UI 菜单、对话选项
- 技能冷却图标

视觉理解本身已经包含了大量 “游戏语义”，为后续决策提供了丰富的信息。

在具体决策的过程中，Lumine 有两种思考方式，对于比较简单的动作，它直接使用快速反应模式（Reactive Mode），类似人类的肌肉记忆操作，不需要长推理链，延迟低，动作直接映射。

而对于比较复杂的行为，比如需要“复杂解谜“，”多步骤路径规划”等，则要用到深度思考模式，在该模式下，LLM 会生成一段“自我推理文本”，例如：
>先移动到桥对面触发下一段剧情 → 触发 NPC 对话 → 选择第二个选项 → 跑向风神像

这种自适应“推理预算控制”，是通用 Agent 的关键。


# 训练数据：以“人类玩家行为”作为核心

![https://developer.qcloudimg.com/http-save/yehe-3970022/375386111f93b46c63520200395efbd8.png](https://developer.qcloudimg.com/http-save/yehe-3970022/375386111f93b46c63520200395efbd8.png)

Lumine 的训练并非 RL，而是全监督/模仿学习（Imitation Learning）作为训练任务。
整个 Data Pipeline 由三部分组成：

预训练阶段：包含了1731小时的训练数据集，让模型初步理解简单的动作，比如“战斗”、“爬山”、“滑翔”等等的技能。相当于整个智能体最“基础的技能库”。

指令跟随数据：从1731 小时能用的训练数据里，挑选了 165 小时出来，让人工标注。
标注数据用于训练分类器，以实现对24小时全量数据的自动标签标注，属于半监督学习模型范畴。为进一步提升数据质量，系统引入GPT-4.1自动生成各视频片段的文本描述，并通过筛选机制剔除与指令不符或动作执行错误的片段，最终构建出时长为200小时的高质量“指令跟随”数据集，约占原始数据总量的10%。
![https://developer.qcloudimg.com/http-save/yehe-3970022/47b6ed6e460baf6058adeda7ad83aeaa.png](https://developer.qcloudimg.com/http-save/yehe-3970022/47b6ed6e460baf6058adeda7ad83aeaa.png)


推理增强数据：共15个小时的推理数据。这是因为游戏中一个任务往往是比较复杂，这就需要模型能够学习一下比较复杂的推理数据。比如为了完成一个任务，可能需要先和NPC交流、然后去打怪、手机素材等等。
![https://developer.qcloudimg.com/http-save/yehe-3970022/83580527c16770eb84b7fe63046b488e.png](https://developer.qcloudimg.com/http-save/yehe-3970022/83580527c16770eb84b7fe63046b488e.png)

最后整体的数据构造流程如下
![https://developer.qcloudimg.com/http-save/yehe-3970022/d816d8c8f423518e12ef904e7e6e332e.png](https://developer.qcloudimg.com/http-save/yehe-3970022/d816d8c8f423518e12ef904e7e6e332e.png)


# Lumine 为什么能跨游戏迁移？

Lumine 能够进行跨游戏迁移，也就是在《原神》中训练完之后，可以迁移到其他游戏上去。

像《黑神话：悟空》、《崩坏：星穹铁道》等游戏都可以进行快速迁移
![https://developer.qcloudimg.com/http-save/yehe-3970022/7a5a285ac3a23ed5e1efeab5f1ae5174.png](https://developer.qcloudimg.com/http-save/yehe-3970022/7a5a285ac3a23ed5e1efeab5f1ae5174.png)
那为什么这个模型可以直接用到其他游戏上呢？主要是这一来的大模型有三个特征，可以让它快速适应新游戏。

**1）输入是 像素级视觉，不依赖游戏 API**
视觉语义具有跨游戏共性，比如都有共同的地面/天空/建筑/障碍、NPC 外形、UI 菜单结构、技能图标/血条模式等，只要“视觉符号”接近，模型就能迁移。

**2）动作空间是统一的人类操作方式**
键鼠是 Steam、PC 游戏的主流统一接口，因此移动行为的语义一致，同时UI 操作模式相似和视角控制规则统一。相当于不同游戏之间有一定的共性，所有可以有效迁移到多个游戏上

**3）模型依赖的是语言+视觉的“策略抽象”**
例如：
```
敌人靠近 → 拉开距离 → 反击  
任务标点高亮 → 跑过去 → 触发剧情  
UI 右下角按钮闪烁 → 点击 → 进入背包
```这些不是“原神规则”，而是“基本人类玩家策略”。这才是真正的“通用 Agent 元技能（Meta-skill）”。


# 写在最后

与其说 Lumine 是“AI 玩《原神》”，
不如说它是：第一个在真实商业级复杂度的 3D 开放世界里跑通“视觉→推理→行动”全链路的通用智能体。

从 OpenAI 的 Sora、GPT-5，到 DeepSeek-V3，再到 Lumine，我们正在见证“视觉 + 动作 + 推理”的真正融合时代。
未来几年，3D 世界智能体会成为 AGI 最重要的技术前沿之一。

关键词：3D Agent、开放世界、视觉-语言-行动统一模型、LLM 控制、数据驱动决策、泛化能力

Lumine 技术深度解析：字节跳动如何在《原神》中训练出通用 3D 世界智能体？

后台策略工程师

人工智能

客户端

字节跳动Lumine技术实现3D开放世界AI自主操作，基于视觉-语言-行动统一模型，通过大模型处理游戏画面并输出决策动作。该智能体在《原神》中完成主线任务，并具备跨游戏迁移能力，支持键鼠操作、NPC交互和复杂任务推理。采用监督学习训练，结合人类玩家行为数据，实现与专家玩家相近的游戏表现，展现3D世界智能体的突破性进展。

智能体

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Lumine 技术深度解析：字节跳动如何在《原神》中训练出通用 3D 世界智能体？-腾讯云开发者社区-腾讯云

Lumine 技术深度解析：字节跳动如何在《原神》中训练出通用 3D 世界智能体？

Lumine 技术深度解析：字节跳动如何在《原神》中训练出通用 3D 世界智能体？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐